KR100457929B1 - System of Soft Remote Controller Using Hand Pointing Recognition - Google Patents
System of Soft Remote Controller Using Hand Pointing Recognition Download PDFInfo
- Publication number
- KR100457929B1 KR100457929B1 KR10-2001-0068528A KR20010068528A KR100457929B1 KR 100457929 B1 KR100457929 B1 KR 100457929B1 KR 20010068528 A KR20010068528 A KR 20010068528A KR 100457929 B1 KR100457929 B1 KR 100457929B1
- Authority
- KR
- South Korea
- Prior art keywords
- hand
- electronic device
- remote control
- person
- shape
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 238000005259 measurement Methods 0.000 claims abstract description 4
- 238000012790 confirmation Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 abstract description 39
- 241000282414 Homo sapiens Species 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000007257 malfunction Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 206010013082 Discomfort Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 230000001795 light effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C23/00—Non-electrical signal transmission systems, e.g. optical systems
- G08C23/04—Non-electrical signal transmission systems, e.g. optical systems using light waves, e.g. infrared
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C2201/00—Transmission systems of control signals via wireless link
- G08C2201/30—User interface
- G08C2201/32—Remote control based on movements, attitude of remote control device
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Selective Calling Equipment (AREA)
Abstract
복수개의 카메라를 이용하여 사람의 손 제스쳐를 추적/인식하여 상기 손 제스쳐가 가리키는 전자기기를 판단하여 해당 전자기기를 동작시킬 수 있는 손 지시 인식을 이용한 원격제어 시스템 및 방법에 관한 것으로, 화상 인식 기술을 이용하여 소정의 실내 공간내에 배치된 적외선 구동 가능한 전자기기를 원격으로 제어하는 원격 제어 방법에 있어서, 사람의 움직임을 감지하여 영상 데이터로 취득하는 취득단계; 취득된 사람의 형상중에서 손의 형상만을 추출하는 추출단계; 미리 계산되어 저장되어 있는 상기 실내 공간의 지형학적 위치에 기초하여 상기 인식된 사람의 손의 위치 및 손이 가리키는 방향을 계산하는 계산단계; 및 구동을 제어할 전자기기의 상기 실내 공산내의 위치 및 각 기기의 구동 적외선 신호를 미리 저장하고 있어, 상기 계산단계에서의 측정결과에 따라 대응되는 제품의 위치를 판정하여 해당 기기를 구동시키는 제어단계를 포함하여 이루어지는 것을 특징으로 하여 실내 공간 내에서 기존의 리모컨을 사용하지 않고도 어디에서든지 자연스럽고 편리하게 원하는 전자기기를 동작시킬수 있다는 효과가 있다.The present invention relates to a remote control system and a method using a hand indication recognition capable of operating a corresponding electronic device by determining an electronic device indicated by the hand gesture by using a plurality of cameras to track / recognize a human hand gesture. A remote control method for remotely controlling an infrared driveable electronic device disposed in a predetermined indoor space by using a data source, the remote control method comprising: an acquisition step of detecting a movement of a person and acquiring image data; An extraction step of extracting only the shape of the hand from the acquired shape of the person; Calculating a position of the recognized person's hand and a direction in which the hand points based on the geographic position of the indoor space which is pre-calculated and stored; And storing the position of the electronic device to control the driving in advance and the driving infrared signal of each device, and determining the position of the corresponding product according to the measurement result in the calculating step to drive the corresponding device. It is characterized in that it is made, including, there is an effect that can operate the desired electronic devices anywhere naturally and conveniently without using the existing remote control in the indoor space.
Description
본 발명은 화상 인식을 이용한 리모트 콘트롤 방법 및 시스템에 관한 것으로, 보다 구체적으로는, 복수개의 카메라를 이용하여 사람의 손 제스쳐를 추적/인식하여 상기 손 제스쳐가 가리키는 전자기기를 판단하여 해당 전자기기를 구동시킬 수 있는 손 지시 인식을 이용한 원격제어 시스템 및 방법에 관한 것이다.The present invention relates to a remote control method and system using image recognition, and more specifically, to track and recognize a human hand gesture using a plurality of cameras to determine the electronic device indicated by the hand gesture to determine the electronic device. The present invention relates to a remote control system and a method using a hand indication recognition that can be driven.
최근 컴퓨터를 이용한 영상 처리 기술 및 화상 인식 기술의 발달에 따라 이를 이용한 다양한 응용 분야가 발전하고 있다. 이러한 다양한 응용 분야 중 손 제스쳐 인식분야는 인간과 컴퓨터간의 정보전달 수단의 한 방법으로서 꾸준한 기술개발이 진행되고 있다.Recently, with the development of computer image processing technology and image recognition technology, various application fields have been developed. Among these various application fields, the hand gesture recognition field has been steadily developing technologies as a means of information transmission between humans and computers.
그 중에서 일상 생활에 적용가능한 분야로서, 가정 내 TV, 오디오, 비디오 등 전자기기와의 인터페이스를 위한 손 제스쳐 인식 기술이 있는데, 이러한 손 제스쳐 인식 기술 중 대표적인 것이 센서가 장착된 장갑을 이용한 명령어 생성 방법이 있다.Among them, applicable to daily life, there is a hand gesture recognition technology for interface with electronic devices such as TV, audio, video, etc. in the home. A representative method of the hand gesture recognition technology is a command generation method using a sensor-equipped glove. There is this.
출원번호 10-1997-0017037 로 1997년 5월 2일 출원되어 1999년 11월 22일 등록된 대한민국 특허 10-0244523 호인 "가상현실용 실시간 인터페이싱 시스템의 구성 및 그 동작방법"에 따르면, 센서 장갑을 통해 손의 움직임에 대한 실시간 정보를 컴퓨터로 보내어 다차원 정보를 분석하여 미리 분류된 손의 움직임 방향 및 손의 모양을 통해 사람에 관계없이 손 제스쳐 인식을 할 수 있는 기술이 개시되어 있다.According to Korean Patent No. 10-0244523, filed on May 2, 1997, filed with application number 10-1997-0017037 and registered on November 22, 1999, according to "Configuration and Operation Method of Real-Time Interfacing System for Virtual Reality", Through a real-time information on the movement of the hand to the computer to analyze the multi-dimensional information through the pre-classified hand movement direction and the shape of the hand through a hand gesture technology has been disclosed.
또한, 출원번호 10-1998-0048730 로 1998년 11월 13일 출원된 대한민국 공개특허공보 특2000-0032308 (공개일자 : 2000년 6월 15일)호인 "장갑장치를 이용한 연속된 손제스쳐 명령어 생성방법 및 그 시스템"에는, 장갑을 낀 손의 움직임 속도와 속도 변화 요소를 이용하여 이 기본 요소의 인식을 바탕으로 의미 해석을 함으로써 다양한 제스쳐의 인식 및 확장이 가능한 시스템 구현 방법이 개시되어 있다.In addition, Korean Patent Application Publication No. 2000-0032308 (published date: June 15, 2000), filed Nov. 13, 1998 with application No. 10-1998-0048730, discloses a method for generating a continuous hand gesture command using a glove device. And "the system" discloses a system implementation method capable of recognizing and expanding various gestures by performing a semantic analysis based on the recognition of this basic element by using the movement speed and the speed change factor of the gloved hand.
그러나, 이러한 센서 부착 장갑 장치를 이용한 손 제스쳐 인식은, 제어 시스템과 연결되는 장갑 장치라는 별도의 장치가 필요하고, 상기 장갑 장치를 포함한 제어 시스템에 새로운 기술이 부가되는 경우 시스템 전체를 다시 구현해야 한다는 점에서 범용성 및 확장성에 있어 문제점을 가지고 있다.However, the hand gesture recognition using the sensored armored device requires a separate device called a armored device connected to the control system, and when a new technology is added to the control system including the armored device, the entire system must be reimplemented. In this respect, there is a problem in generality and extensibility.
한편, 상기 장갑 장치를 이용하지 않고 카메라 등의 입력장치를 통해 손 제스쳐를 인식하는 기술도 개발되고 있다.Meanwhile, a technology for recognizing a hand gesture through an input device such as a camera without using the glove device is also being developed.
예를들어, 출원번호 10-1998-0007180 로 1998년 3월 4일 출원된 대한민국 공개특허공보 특1999-0073927호(공개일 : 1999년 10월 5일)인 "화상 인식에 의해 동작하는 장치 및 그 방법"에는 TV 나 비디오 등 전자기기에 CCD 카메라 등 입력화상장치를 통해 입력된 손의 형상을 인식한 후 이를 미리 저장된 손의 형태와 비교하여 해당하는 제어명령을 발생하는 기술이 개시되어 있다.For example, Korean Patent Application Publication No. 1999-0073927 (published: October 5, 1999) filed on March 4, 1998 with application No. 10-1998-0007180, and "A device operating by image recognition and "Method" discloses a technique of recognizing the shape of a hand inputted through an input imager such as a CCD camera to an electronic device such as a TV or a video, and comparing it with a previously stored shape of the hand to generate a corresponding control command.
그러나, 이러한 기술은 전자기기를 구동시키기 위해서는 사용자가 상기 전자기기의 특정 위치로 이동하여야 하고, 손의 모양도 상기 전자기기에 미리 입력된 특정 형상으로만 해야 한다는 불편함이 있다. 또한, 각각의 전자기기에 대해 내장형 또는 외장형 카메라를 설치해야 하기 때문에 실내 공간 내에 있는 모든 가전제품을 구동시키고자 할 경우 가전제품마다 카메라가 필요하여 많은 비용이 드는 문제점을 가지고 있다.However, such a technique is inconvenient in that a user must move to a specific position of the electronic device in order to drive the electronic device, and the shape of the hand must be only a specific shape previously input to the electronic device. In addition, since a built-in or external camera must be installed for each electronic device, if you want to drive all home appliances in an indoor space, each home appliance requires a camera, which causes a high cost.
한편, 출원번호 10-1998-0062178 로 1998년 12월 30일에 출원되어 2000년 7월 25일 공개된 대한민국 공개특허공보 특2000-0045611호인 "정규화 색상 분포와 방향 히스토그램을 이용한 손 제스쳐 인식 방법"에는 입력된 손의 형상을 정규화된 색상으로 변환시키고 이를 가우시안 분포로 모델링 한 후 미리 결정된 색을 강조한 영상을 만든다음 윤곽선을 추출하여 손의 컬러 영상을 인식하도록 하여, 복잡한 배경에 강한 손 제스쳐 인식 방법이 개시되어 있다.On the other hand, Korean Patent Application Publication No. 2000-0045611, filed Dec. 30, 1998, filed with application No. 10-1998-0062178, published on July 25, 2000, "Hand Gesture Recognition Method Using Normalized Color Distribution and Direction Histogram." In this method, the shape of the input hand is transformed into a normalized color, modeled as a Gaussian distribution, and the image is made by emphasizing a predetermined color. Then, the contour is extracted to recognize the color image of the hand. Is disclosed.
그러나, 아직까지 상기 언급한 바와같은 손 제스쳐 인식 기술들을 종합하면서 상기 손 제스쳐 인식 기술들에서 나타나는 단점 내지 불편함을 해소하여 정상인 외에도 이동하기 불편한 노약자나 장애인들도 리모컨을 이용하지 않고 전자기기 등을 동작시킬 수 있는 방법은 구체적으로 제시되고 있지 않은 실정이다.However, by combining the hand gesture recognition techniques as mentioned above, the disadvantages and discomforts of the hand gesture recognition techniques have been eliminated. How to operate the situation is not specifically presented.
본 발명은 손 제스쳐 인식 기술을 이용하여 전자기기 등과의 인터페이스를 용이하게 할 수 있도록, 사람의 손을 추적하고 인식하는 영상 처리 기술, 카메라회전과 손의 3차원 벡터를 인식하는 기구학적 연산 처리 기술, 그리고 리모컨 신호를 처리하는 인터페이싱 기술을 접목하여 범용성 및 확장성이 용이한 손 지시 인식을 이용한 원격제어 방법 및 시스템, 그리고 상기 원격제어방법을 구현하는 각 단계를 실행시킬 수 있는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체를 제공하는 것을 목적으로 한다.The present invention is an image processing technology for tracking and recognizing a person's hand and a kinematic operation processing technology for recognizing a 3D vector of a camera rotation and a hand so as to facilitate an interface with an electronic device using a hand gesture recognition technology. And a computer control recording a remote control method and system using a hand instruction recognition, which is easy to use for general purpose and extensibility by integrating an interfacing technology for processing a remote control signal, and a program for executing each step of implementing the remote control method. It is an object to provide a possible recording medium.
도 1은 본 발명에 따른 손의 지시로 전자기기를 동작 시킬 수 있는 소프트 리모컨 시스템의 처리과정을 간략화한 흐름도이고,1 is a simplified flowchart of a process of a soft remote control system capable of operating an electronic device with a hand instruction according to the present invention;
도 2은 본 발명에 따른 카메라, 영상 처리 보드, 컴퓨터, 리모컨 보드, 전자기기로 구성되는 전체 시스템을 설명하기 위한 도이고,2 is a view for explaining the entire system consisting of a camera, an image processing board, a computer, a remote control board, an electronic device according to the present invention,
도 3는 도 1의 내부 구성 및 동작 흐름도이고,3 is an internal configuration and operation flowchart of FIG.
도 4는 도 2의 카메라로 입력되는 영상으로부터 손 영상과 얼굴 영상을 분리하기 위한 데이터 처리 흐름도이고,4 is a flowchart illustrating a data processing for separating a hand image and a face image from an image input to the camera of FIG. 2.
도 5는 입력영상에서 분리된 손 영상으로 부터 손방향 벡터의 계산 방법을 설명하기 위한 도이고,5 is a diagram for explaining a method of calculating a hand direction vector from a hand image separated from an input image.
도 6은 3차원에서 손이 가리키는 방향의 계산 과정을 설명하기 위한 도이고,6 is a view for explaining the calculation process of the hand pointing in three dimensions,
도 7은 리모컨 보드의 수광 유닛 구성도이며,7 is a configuration diagram of a light receiving unit of a remote control board;
도 8은 리모컨 보드의 송신 유닛 회로도이다.8 is a circuit diagram of the transmission unit of the remote control board.
* 도면의 주요부분에 대한 부호의 설명* Explanation of symbols for main parts of the drawings
200a, 200b, 200c, 200d : 적외선 구동 가능한 전자기기200a, 200b, 200c, 200d: Infrared Driveable Electronic Devices
201 : 사람의 영굴 영역 202 : 사람의 손 영역201: Man's Ombre Zone 202: Man's Hand Zone
210 : 리모컨 230 : 팬/틸트 제어모듈210: remote control 230: pan / tilt control module
240 : 영상처리모듈 250a, 250b, 250c : 칼라 카메라240: image processing module 250a, 250b, 250c: color camera
220 : 컴퓨터220: computer
본 발명의 제1 측면에 따르면, 소정의 실내 공간내에 배치된 적외선 구동 가능한 전자기기를 원격으로 구동 제어하는 원격 제어 시스템에 있어서,According to a first aspect of the present invention, in the remote control system for remotely controlling the drive of the infrared drive electronic device disposed in a predetermined indoor space,
상기 공간내에 있는 사람의 움직임을 감지하여 사람의 형상을 영상 데이터로 취득하는 영상 데이터 취득 수단;Image data acquisition means for detecting a movement of a person in the space and acquiring the shape of the person as image data;
상기 취득된 사람의 형상으로부터 손 형상만을 추출하는 손 형상 추출 수단;Hand shape extraction means for extracting only a hand shape from the acquired person shape;
상기 추출된 손 형상으로부터 손의 위치 및 손이 가리키는 방향을 인식하는 손 지시 인식수단; 및Hand instruction recognizing means for recognizing the position of the hand and the direction the hand points from the extracted hand shape; And
상기 손 지시 인식수단으로부터의 인식 결과에 근거하여 해당 전자기기의 동작을 제어하는 제어수단을 포함하며,Control means for controlling the operation of the electronic device based on the recognition result from the hand instruction recognition means,
상기 제어수단은, 상기 영상 데이터 취득 수단, 손 형상 추출 수단 및 손 지시 인식 수단을 제어하고, 적외선으로 원격 구동 제어 가능한 상기 전가기기의 위치 및 상기 각 전자기기의 구동 적외선 신호를 저장하고 있으며, 미리 계산되어 저장되어 있는 상기 전자기기의 위치에 대응하는 데이터를 상기 손 지시 인식 수단에 제공하여 상기 손 지시 인식 수단으로부터의 측정결과에 따라 대응되는 전자기기의상기 실내 공간상에서의 위치 판정을 통해 해당 제품이 구동가능하게 하는 것을 특징으로 하는 원격제어 시스템이 제공된다.The control means controls the image data acquiring means, the hand shape extracting means, and the hand instruction recognizing means, and stores the positions of the electric appliances and the driving infrared signals of the respective electronic devices, which can be remotely driven and controlled by infrared rays. Providing the data corresponding to the position of the electronic device, which is calculated and stored, to the hand indication recognizing means and determining the corresponding product through the position determination on the indoor space of the corresponding electronic device according to the measurement result from the hand indication recognizing means. A remote control system is provided, which makes this driveable.
또한, 본 발명의 제2 측면에 따르면, 화상 인식 기술을 이용하여 소정의 실내 공간내에 배치된 적외선 구동 가능한 전자기기를 원격으로 제어하는 원격 제어 방법에 있어서,Further, according to a second aspect of the present invention, in the remote control method for remotely controlling an infrared drive capable electronic device disposed in a predetermined indoor space using an image recognition technology,
사람의 움직임을 감지하여 영상 데이터로 취득하는 취득단계;An acquisition step of detecting a movement of a person and acquiring the image data;
취득된 사람의 형상중에서 손의 형상만을 추출하는 추출단계;An extraction step of extracting only the shape of the hand from the acquired shape of the person;
미리 계산되어 저장되어 있는 상기 실내 공간의 지형학적 위치에 기초하여 상기 인식된 사람의 손의 위치 및 손이 가리키는 방향을 계산하는 계산단계; 및Calculating a position of the recognized person's hand and a direction in which the hand points based on the geographic position of the indoor space which is pre-calculated and stored; And
구동을 제어할 전자기기의 상기 실내 공산내의 위치 및 각 기기의 구동 적외선 신호를 미리 저장하고 있어, 상기 계산단계에서의 측정결과에 따라 대응되는 제품의 위치를 판정하여 해당 기기를 구동시키는 제어단계를 포함하여 이루어지는 것을 특징으로 하는 손 지시 인식을 이용한 원격제어 방법이 제공된다.A control step of driving the device by determining the position of the corresponding product according to the measurement result in the calculation step, in advance storing the position in the indoor communication of the electronic device to control the drive and the driving infrared signal of each device. Provided is a remote control method using a hand indication recognition, characterized in that comprises.
그리고, 본 발명의 제3 측면에 따르면, 상기 손 지시 인식을 이용한 원격제어 방법을 구현하는 각 단계를 실행시킬 수 있는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체가 제공된다.According to a third aspect of the present invention, there is provided a computer-readable recording medium having recorded thereon a program capable of executing each step of implementing a remote control method using the hand indication recognition.
후술하겠지만, 본 발명은 팬/틸트 모듈이 부착된 복수개의 카메라, 적절하게는 3대의 카메라로 사용자를 추적하고 손이 가리키는 방향을 인식함으로써 실내 공간내에 배치되어 있는 여러 전자기기를 선택하여 동작 시킬 수 있도록 하였으며,보다 적절하게는, 전자기기의 여러 작동에 대응하도록 미리 결정된 손 제스쳐를 인식하여 해당 기능을 제어할 수 있도록 하며, 추가로 사용자에게 동작시키고자 하는 전자기기의 명칭을 음성으로 미리 알려줘 사용자가 정확한 전자기기를 선택할 수 있도록 하여 전자기기의 오동작을 막게 할 수 있다. 또한, 본 발명에서는 통상적으로 사용되고 있는 리모컨의 적외선 신호를 이용하여 지정된 전자기기를 구동 하고자 한다. 이와 같은 목적을 달성하기 위해서 본 발명에는 크게 네 가지 기술이 적용된다.As will be described later, the present invention can operate by selecting a plurality of electronic devices arranged in the indoor space by tracking the user with a plurality of cameras, suitably three cameras with a pan / tilt module, and recognizing the direction the hand points. More appropriately, it is possible to control a function by recognizing a predetermined hand gesture to correspond to various operations of the electronic device, and further inform the user in advance of the name of the electronic device to be operated by voice. By selecting the correct electronic device can prevent the malfunction of the electronic device. In addition, the present invention intends to drive a designated electronic device by using an infrared signal of a remote control that is commonly used. In order to achieve the above object, four techniques are largely applied to this invention.
첫째, 사용자의 위치에 상관 없이 사용자의 동작을 관찰하기 위하여 카메라의 움직임에 관계된 팬/틸트 모듈을 제어함으로써 항상 사용자를 추적 한다.First, the user is always tracked by controlling the pan / tilt module related to the camera movement to observe the user's motion regardless of the user's position.
둘째, 카메라의 입력 영상으로부터 정규화된 rgb 영상 변환법과 같은 효율적인 영상처리기술을 적용하여 손 영상만을 추출하고 손 영상의 특징을 추출 한다.Second, by applying an efficient image processing technique such as the normalized rgb image conversion method from the input image of the camera, only the hand image is extracted and the features of the hand image are extracted.
셋째, 추출된 손 영상의 특징으로부터 적절한 계산처리를 통해 3차원 공간상에서 손의 위치 및 손이 지시하는 방향을 인식하고 지시된 위치를 계산 한다.Third, the position of the hand and the direction indicated by the hand are recognized in the three-dimensional space through appropriate calculation processing from the extracted hand image feature, and the indicated position is calculated.
넷째, 제어하고자 하는 각 전자기기 리모컨의 적외선 신호를 컴퓨터에 저장해 놓고, 지시된 가전 기기에 해당하는 리모컨의 적외선 신호를 송신하는 시스템 환경을 구축 한다.Fourth, the infrared signal of the remote control of each electronic device to be controlled is stored in the computer, and a system environment for transmitting the infrared signal of the remote control corresponding to the indicated home appliance is constructed.
이하, 첨부한 도면을 참고하여 본 발명을 단지 예의 방법으로 상세히 설명하도록 한다. 후술하는 발명의 상세한 설명을 통해 본 발명의 장점 내지 특징이 보다 명확히 이해될 수 있을 것이며, 발명의 설명에 있어서 본 발명의 요지와 직접관련되지 않는 공지 기술에 대한 상세한 설명은 생략하도록 하겠다.Hereinafter, with reference to the accompanying drawings will be described in detail the present invention by way of example only. Advantages and features of the present invention will be more clearly understood through the following detailed description of the invention, and detailed descriptions of well-known techniques not directly related to the gist of the present invention will be omitted.
도 1은 본 발명에 따른 손 지시 인식을 이용한 원격제어 시스템의 신호 처리 과정을 간략화한 블록도로서, 원하는 영상 데이터를 받아들이기 위한 데이터 획득 모듈(110)과, 그 획득된 데이터에서 손과 얼굴 영역의 영상을 분리하는 전처리 모듈(120)과, 이러한 손과 얼굴 영역의 영상 데이터를 바탕으로 손 영역만을 추출하는 손 영역 분할 모듈(130)과, 추출된 손 영역에서 손이 가리키는 지점을 계산하는 손 지시 인식 모듈(140)과, 손이 가리킨 전자기기를 동작 시키기 위한 전자기기 제어 모듈(150)로 구성된다.1 is a simplified block diagram of a signal processing process of a remote control system using hand indication recognition according to the present invention, wherein a data acquisition module 110 for receiving desired image data and a hand and face region from the acquired data. A preprocessing module 120 for separating the image of the hand, a hand region segmentation module 130 for extracting only the hand region based on the image data of the hand and the face region, and a hand for calculating a point to which the hand points in the extracted hand region The instruction recognition module 140 and the electronic device control module 150 for operating the electronic device pointed by the hand.
도 2는 본 발명에 따른 원격제어 시스템을 이해가 쉽도록 그림으로 나타낸 것이다.Figure 2 is shown in a picture for easy understanding the remote control system according to the present invention.
상기 데이터 획득 모듈(110)은 사용자의 손 방향을 인식하기 위한 복수개의 카메라(250a, 250b, 250c)로 구성되어 있으며, 상기 각 카메라에는 사용자의 위치를 추적하기 위해 각 카메라를 2축으로 회전 시킬수 있는 팬/틸트 모듈이 장착되어 되어 있다. 상기 복수개의 카메라로부터 획득된 칼라 영상 데이터는 영상처리보드(240)와 메인 컴퓨터(220)에 의해 처리 된다. 또한, 상기 팬/틸트 모듈은 팬/틸트 제어기(230)를 통하여 구동이 되며 구동 명령은 메인 컴퓨터(220)에서 이루어 진다. 전처리 모듈(120)에서 손 지시 인식 모듈(140)까지는 메인 컴퓨터(220)에서 모든 연산이 이루어지며, 전자기기 제어 모듈(150)에서는 리모컨 보드(210)를 통하여 사용자가 지시하는 전자기기(200a, 200b,...)를 구동시키도록 한다.The data acquisition module 110 is composed of a plurality of cameras (250a, 250b, 250c) for recognizing the user's hand direction, each camera can be rotated in two axes to track the location of the user. Mounted pan / tilt module. The color image data obtained from the plurality of cameras is processed by the image processing board 240 and the main computer 220. In addition, the pan / tilt module is driven through the pan / tilt controller 230 and a driving command is made in the main computer 220. From the preprocessing module 120 to the hand instruction recognition module 140, all operations are performed in the main computer 220, and in the electronic device control module 150, the electronic device 200a, which is instructed by the user through the remote control board 210, 200b, ...).
상기 복수개의 카메라(250a, 250b, 250c)는 사용자의 3차원 위치가 정확히 계산될 수 있도록, 도면에 도시된 바와 같이, 3대의 카메라를 천정 부위에 배치시키는 것이 적절하다. 상기 3대의 카메라(250a, 250b, 250c)의 배치는 삼각형 형상으로 배치하는 것이 보다 적절하다.The plurality of cameras 250a, 250b, and 250c may suitably arrange three cameras on the ceiling, as shown in the figure, so that the three-dimensional position of the user can be accurately calculated. It is more appropriate to arrange the three cameras 250a, 250b, 250c in a triangular shape.
한편, 상기 복수개의 카메라(250a, 250b, 250c)를 통해 사용자의 위치를 정확히 인식 및 추적하기 위해, 상기 전자기기들이 배치되어 있는 실내 공간의 지형학적 형상 및 상기 전자기기들의 상기 실내 공간상의 배치 위치는 상기 컴퓨터(220)의 소정의 메모리상에 미리 저장시켜 놓는다.On the other hand, in order to accurately recognize and track the position of the user through the plurality of cameras (250a, 250b, 250c), the topographical shape of the interior space where the electronic devices are arranged and the arrangement position of the electronic devices in the interior space Is stored in advance in a predetermined memory of the computer 220.
후술하는 전자기기 위치 데이터베이스(312)에 이러한 데이터가 저장되는데, 이 데이터는 실내공간의 한 지점을 x, y, z 축으로 이루어진 절대 좌표계의 원점(x0,y0,z0)으로 보았을 때, 이 절대 좌표계의 원점으로부터의 실제 거리값(x-x0,y-y0,z-z0)에 해당하는 값이다.This data is stored in the electronic device location database 312, which will be described later, when one point of the indoor space is viewed as the origin (x 0 , y 0 , z 0 ) of an absolute coordinate system composed of x, y, and z axes. , Is the value corresponding to the actual distance value (xx 0 , yy 0 , zz 0 ) from the origin of this absolute coordinate system.
도 3은 도 1에 도시된 본 발명의 적절한 실시예에 따른 손 지시 인식을 이용한 원격제어 시스템의 구체적인 동작 흐름도를 보여 주고 있다.FIG. 3 shows a detailed operation flowchart of a remote control system using hand indication recognition according to an exemplary embodiment of the present invention shown in FIG. 1.
먼저, 데이터 획득 모듈(도 1의 "110")에서는 사용자의 손이 3대의 카메라의 영상내에 들어오도록 하기 위해 움직임이 필요한 카메라를 선택하여(302) 선택된 카메라에 부착된 팬/틸트 모듈을 제어(301)함으로서 카메라를 통한 영상스캐닝(300)을 통해 카메라로부터 원하는 칼라 영상 데이터(303)를 획득하게 된다.First, in the data acquisition module (“110” of FIG. 1), a camera requiring movement is selected to allow a user's hand to enter an image of three cameras (302) to control a pan / tilt module attached to the selected camera ( 301 to obtain the desired color image data 303 from the camera through the image scanning 300 through the camera.
즉, 사람이 움직이면 카메라에 따라서는 사용자의 모습이 잡히지 않을 수도 있으므로, 사람이 카메라의 영상에서 사라지는 카메라에 대해서 상기 팬/틸트 모듈의 제어를 통해 카메라를 움직임으로써 사람이 카메라 영상의 중앙에 오도록 하는 것이다.That is, when a person moves, the user may not be captured depending on the camera, so that the person moves to the center of the camera image by controlling the pan / tilt module with respect to the camera disappearing from the camera image. will be.
다음으로, 이 영상으로부터 전처리 모듈(도 1의 "120")은 손과 얼굴 영상을 추출(304)한다. 손과 얼굴 영상을 추출하는 것은, 사람의 신체부위를 추적하기 위해서는 살색 부분을 추적하게 되는데, 사람의 얼굴과 손 부분은 거의 항상 노출되어 있게 되므로 사람의 얼굴 및 손 부위를 추출하게 되는 것이며, 이후 얼굴 영역을 제외시켜 손 영역만의 영상을 얻는다. 이러한 절차는 손 영역 분할 모듈(도 1의 "130")에서 이루어지는데, 추출된 손과 얼굴 영상으로부터 손의 상대적 위치를 계산(305)하여 손의 위치가 카메라 영상의 중심에 나타나도록 카메라를 회전시키고 카메라 영상에서 손의 위치가 적절하게 나타나면 손과 얼굴 영상에서 손 부분 영상만을 분리(306) 시킨다.Next, the preprocessing module (“120” in FIG. 1) extracts the hand and face images 304 from this image. Extracting the image of the hand and face, in order to track the body part of the human body is to track the skin part, the human face and hand parts are almost always exposed, so that the human face and hand parts are extracted. An image of only the hand region is obtained by excluding the face region. This procedure is performed in the hand region segmentation module (“130” in FIG. 1), where the relative position of the hand is calculated 305 from the extracted hand and face images to rotate the camera so that the hand position appears in the center of the camera image. If the position of the hand is properly displayed in the camera image, only the hand part image is separated from the hand and face image (306).
손 지시 인식 모듈(도 1의 "140")에서는 분리된 손 영상으로부터 절대 좌표계에서 본 3차원 손 위치를 계산(307)한 다음, 손의 위치가 일정 시간동안 유지되는지를 판단하여(308) 미리 계산되어 있는 소정시간 동안 손의 움직임이 없으면 카메라의 영상에 보이는 손의 방향을 계산(309)하여 그 정보로부터 손의 위치 및 손이 가리키는 방향을 계산(440)한다. 한편, 상기 손의 위치가 정지해 있는 일정시간에 대한 정의는 본 발명에 따른 원격제어시스템 설계시 임의로 설정할 수 있는것이다.The hand instruction recognition module ("140" in FIG. 1) calculates the three-dimensional hand position seen in the absolute coordinate system from the separated hand image (307), and then determines whether the hand position is held for a predetermined time (308) in advance. If there is no movement of the hand for a predetermined time, the direction of the hand shown in the image of the camera is calculated (309) and the position of the hand and the direction of the hand are calculated from the information (440). On the other hand, the definition of a certain time that the position of the hand is stationary can be set arbitrarily when designing the remote control system according to the present invention.
마지막으로, 전자기기 제어 모듈(도 1의 "150")에서는 상기 계산된 손의 방향에 기초하여 전자기기의 위치 DB(312)로부터 손의 방향에 위치해 있는 전자기기를 찾는다(311). 보다 적절하게는, 오동작을 막기 위해 상기 손의 위치 및 방향을 계산 한 후 인식된 해당 전자기기가 정확히 사용자가 지시한 기기인지를 사용자에게 확인하는 확인 메시지를 보낸다(313). 상기 확인 메시지(313)는 전자기기를 구별할 수 있는 시각적 또는 청각적인 메시지일 수 있으며, 각 전자기기 이름이 출력되는 음성 메시지인 것이 적절하다.Finally, the electronic device control module ("150" in FIG. 1) finds the electronic device located in the direction of the hand from the position DB 312 of the electronic device based on the calculated hand direction (311). More suitably, in order to prevent a malfunction, the handset calculates the position and direction of the hand and sends a confirmation message to the user to confirm whether the recognized corresponding electronic device is a device exactly indicated by the user (313). The confirmation message 313 may be a visual or audio message that can distinguish electronic devices, and it is appropriate that each electronic device name is a voice message output.
한편, 사용자의 손 움직임에 변화가 없으면(314), 각 전자기기를 구동시키는 리모컨의 적외선 신호 DB(316)로부터 지정된 전자기기에 해당하는 리모컨의 적외선 신호를 출력(315)하여 원하는 전자기기를 구동시킨다. 만일 오동작으로 판단한 사용자가 손을 움직이면 다시 처음의 상태로 되돌아간다.On the other hand, if there is no change in the user's hand movement (314), the infrared signal DB 316 of the remote control for driving each electronic device outputs the infrared signal of the remote control corresponding to the specified electronic device (315) to drive the desired electronic device Let's do it. If the user who judged the malfunction moves his hand, it returns to the original state.
도 4, 5, 6, 7, 8 은 도 1에 도시된 각 모듈별 처리 과정에서 보다 구체적인 언급이 필요한 부분을 설명하기 위한 그림이다.4, 5, 6, 7, and 8 are diagrams for explaining a portion that needs more specific reference in the process of each module shown in FIG.
먼저, 도 4는 전처리 모듈(120)에서 손과 얼굴 영상이 추출되는 과정을 구체적으로 나타낸 것이다.First, FIG. 4 specifically illustrates a process of extracting a hand and a face image from the preprocessing module 120.
먼저, 예를들어 640x480 픽셀 크기의 칼라 영상(410)을 빠른 영상 처리를 위해서 1/4로 영상을 축소(420)하고, 칼라RGB영상은 각각 정규화된 rgb 변환법( r=R/(R+G+B),g=G/(R+G+B),b=B/(R+G+B) )(430)과 색깔(hue)h변환법 ()(440)에 의해서 영상이 변환된다. 정규화된rgb영상은 조명의 변화에 둔감하여 밝은 조명이나 그림자의 영향을 덜 받으며 색깔(hue) 영상 역시 조명의 영향을 효과적으로 분리하고 조명에 따른 값의 변화도 적기 때문에 두 변환법을 피부색과 머리카락색을 추출하는데 함께 사용한다. 이러한 추출은 피부색과 머리카락색에 대해 각각 적당한 문턱값을 취한 이진화(450, 460)로 가능하다. 그러나, 이들 이진화 영상은 많은 잡음 부분을 포함하고 있으므로 이들에 대해 논리적 AND 연산을 취하고 논리적 연산으로 제거 되지 않는 작은 영역들을 제거(470)함으로써 손 영상과 얼굴 영상만을 분리(480)할 수가 있다.First, for example, a 640x480 pixel sized color image 410 is reduced (420) to 1/4 for fast image processing, and color RGB images are each normalized rgb conversion method (r = R / ( R + G). + B ), g = G / ( R + G + B ), b = B / ( R + G + B )) 430, and hue h conversion ( 440 converts the image. The normalized rgb image is insensitive to light changes and is less affected by bright light or shadows, and the hue image also effectively separates light effects and changes the values according to the lighting. Use together to extract. This extraction is possible with binarization 450 and 460 taking appropriate thresholds for skin color and hair color, respectively. However, since these binarized images contain many noise parts, only the hand image and the face image can be separated 480 by taking a logical AND operation on them and removing small regions that are not removed by the logical operation (470).
도 5는 카메라의 영상에 보이는 손의 방향을 계산하는 방법을 설명하기 위한 그림이다. n번째 카메라에서 보이는 영상의 축을 Xcn ,Ycn 이라 할 때, 영상에서 보이는 손의 방향 θ 는 아래 수학식 1을 통해 구할 수 있다.5 is a diagram for describing a method of calculating a direction of a hand visible in an image of a camera. When the axis of the image seen by the nth camera is Xcn and Ycn, the direction θ of the hand seen in the image may be obtained by Equation 1 below.
이 때,이고, M00, M11, M10, M01, M20은 손 영상의 모멘트를 나타내는 것으로 아래와 같은 수학식 2를 통해 구하여 진다.At this time, M 00 , M 11 , M 10 , M 01 , and M 20 represent moments of the hand image and are obtained by Equation 2 below.
도 6은 카메라의 영상에서의 손 방향과 위치를 이용하여 3차원 공간상에서 손이 가리키고 있는 위치를 구하는 방법을 설명하기 위한 그림이다.FIG. 6 is a diagram for describing a method of obtaining a position pointed by a hand in a three-dimensional space using a hand direction and a position in an image of a camera.
카메라를 통해 입력된 영상의 3차원 위치 및 방향을 계산하는 방법은 여러가지가 있을 수 있으며, 그러한 방법 중 한 방법을 이하 설명하도록 한다.There are a number of methods for calculating the three-dimensional position and orientation of the image input through the camera, one of such methods will be described below.
일반적으로, 카메라로 입력된 영상은 2차원 정보만을 가지고 있기 때문에, 그 영상의 3차원 위치와 방향을 알 수 없고 단지 손 영역을 포함하는 평면 정보만을 알 수 있다. 따라서, 3대의 카메라 중 손의 방향이 뚜렷이 보이는 2대의 카메라(250a, 250b) 영상으로부터 얻은 두 평면 방정식의 교점을 구하면 3차원 공간상에서 손이 가리키는 방향을 알 수 있으며, 이 방향의 연장선을 그으면 손이 가리키는 위치까지 알 수 있다.In general, since an image input to the camera has only two-dimensional information, the three-dimensional position and direction of the image cannot be known, and only plane information including a hand region can be known. Therefore, if the intersection of two plane equations obtained from the images of two cameras 250a and 250b showing the clear hand direction among three cameras is obtained, the direction the hand points in three-dimensional space can be known. You can see up to this point.
이 때, 각 카메라 좌표계(610,620)에서 보았을 때 손이 위치한 평면의 방정식은 아래 수학식 3과 같이 2대의 카메라(250a, 250b) 영상으로부터 손 영역의 무게 중심점과 손 방향 θ값을 이용하여 구할 수 있으며, 이를 x,y,z 축으로 이루어진 절대 좌표계(600)에서 본 평면 방정식으로 변환할 수 있다. 카메라 좌표계에서 절대 좌표계로의 변환은 아래 수학식 4를 통해 이루어질 수 있다.At this time, the equation of the plane where the hand is located in each camera coordinate system (610, 620) can be obtained using the center of gravity of the hand region and the hand direction θ value from the two cameras 250a, 250b image as shown in Equation 3 below. And, this can be converted into a plane equation seen in the absolute coordinate system 600 consisting of the x, y, z axis. The conversion from the camera coordinate system to the absolute coordinate system may be performed through Equation 4 below.
여기서, ( xc1, yc1)는 손 영역의 무게 중심점이다.Where (x c1 , y c1 ) is the center of gravity of the hand region.
여기서, (Cnx, Cny, Cnz)는 n번째 카메라 팬/틸트 모듈의 위치이고, cθ는 cosθ, sθ는 sinθ, θ1과 θ2는 각각 카메라 팬/틸트 회전각이며, α0, α1, d1, d2는 팬/틸트 모듈과 카메라의 부착 위치에 의해 결정되는 값이다.Where (C nx , C ny , C nz ) is the position of the nth camera pan / tilt module, cθ is cosθ, sθ is sinθ, θ 1 and θ 2 are camera pan / tilt rotation angles, and α 0 , α 1 , d 1 , d 2 are values determined by the attachment position of the pan / tilt module and the camera.
한편, 손이 가리키고 있는 전자기기를 구동시키기 위한 처리 과정은 다음과 같다.On the other hand, the processing for driving the electronic device is pointing as follows.
우선, 리모컨 신호를 수신할 수 있는 수광 유닛으로 각 전자기기에 대한 리모컨의 적외선 신호를 받아 리모컨의 적외선 신호 DB를 미리 구축해 놓는다. 사용자의 손이 가리키고 있는 곳이 TV 라고 인식이 되면, "TV를 켤까요?" 와 같은 음성 안내를 통하여 사용자가 구동시키고자 하는 전자기기를 확인하고, 이러한 확인 후 사용자의 손이 소정 시간동안 동작이 없으면 지정된 전자기기, 즉 TV를 동작시키는리모컨의 적외선 신호를 송신하여 원하는 전자기기를 동작시킨다.First of all, a light receiving unit that can receive a remote control signal receives an infrared signal of a remote control for each electronic device and builds an infrared signal DB of the remote control in advance. If the user's hand points to the TV, it says, "Would you like to turn it on?" Check the electronic device that the user wants to drive through the voice guidance, such as, if the user's hand does not operate for a predetermined time after this confirmation, the specified electronic device, that is, the desired electronic device by transmitting an infrared signal of the remote control to operate the TV To operate.
도 7은 통상적인 리모컨 보드의 수광 유닛 구성을 나타낸 흐름도이고, 도 8 역시 통상적인 리모컨 보드의 송신 유닛 회로도에 대응하는 예시도를 그린 것이다.7 is a flowchart illustrating a light receiving unit configuration of a conventional remote control board, and FIG. 8 is also an exemplary diagram corresponding to a transmission unit circuit diagram of a conventional remote control board.
지금까지 살펴본 바와 같이, 본 발명은 실내 공간 내에서 기존의 리모컨을 사용하지 않고도 어디에서든지 자연스럽고 편리하게 원하는 전자기기를 동작시킬수 있다는 장점을 가지고 있어, 몸이 불편한 장애인이나 노약자, 또는 리모컨을 가져오기가 불편한 상황에 있는 일반 사용자들에게도 아주 유용할 것이다.As described so far, the present invention has the advantage that it is possible to operate the desired electronic device anywhere in the indoor space without using a conventional remote control, bringing the disabled or the elderly, or the remote control is inconvenient This can be very useful for ordinary users who are in an uncomfortable situation.
특히, 전자기기의 위치가 바뀌거나 새로운 전자기기를 사용하게 되더라도 실내 공간 상에서 전자기기의 위치와 그 전자기기를 구동시킬 수 있는 리모컨의 적외선 신호, 그리고 새로이 설치된 전자기기에 대응하는 확인 음성 신호만 새로이 컴퓨터에 입력만 하면 되기 때문에, 범용성 및 기능 확장성이 용이하다.In particular, even if the position of the electronic device is changed or a new electronic device is used, only the position of the electronic device in the indoor space, the infrared signal of the remote controller capable of driving the electronic device, and the confirmation voice signal corresponding to the newly installed electronic device are newly added. All you need to do is enter the computer, so it's easy to use and expand functionality.
지금까지 설명은 본 발명의 이해를 위해 본 발명의 구체적 실시예를 들어 본 발명의 원리 및 특징을 설명하였으나 본 발명의 범위는 이러한 실시예에 의하여 제한되지 않는다. 당 기술분야의 통상의 지식을 가진 자에게는 첨부한 특허청구범위의 범주 및 정신을 벗어나지 않고 본 발명은 다양하게 수정 및 변형할 수 있다.The description so far has described the principles and features of the present invention by taking specific embodiments of the present invention for the purpose of understanding the present invention, but the scope of the present invention is not limited by these embodiments. Those skilled in the art can make various changes and modifications without departing from the scope and spirit of the appended claims.
예를들어, 손의 영상을 추출하여 전자기기를 원격 제어하는데 있어서, 단순히 손의 정지 시간을 통해 전자기기의 온/오프(on/off)를 수행하는 것 이외에, 소정의 손의 고유 체스쳐에 따라 전자기기의 해당 기능을 대응시키도록 하여, 사람이해당 기능을 구동시키기 위해 미리 입력된 손 제스쳐를 소정 시간동안 유지하고 있도록 하여 전자기기의 다양한 기능을 본 발명에 따른 원격제어방법을 통해 구현시킬 수 있다.For example, in extracting an image of a hand and remotely controlling the electronic device, in addition to simply performing an on / off of the electronic device through the stop time of the hand, it is applied to a unique chess piece of a hand. According to the present invention, the corresponding functions of the electronic devices are made to correspond to each other, so that a person maintains a pre-inputted hand gesture for a predetermined time to drive the corresponding function, thereby implementing various functions of the electronic device through a remote control method according to the present invention. Can be.
Claims (8)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2001-0068528A KR100457929B1 (en) | 2001-11-05 | 2001-11-05 | System of Soft Remote Controller Using Hand Pointing Recognition |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2001-0068528A KR100457929B1 (en) | 2001-11-05 | 2001-11-05 | System of Soft Remote Controller Using Hand Pointing Recognition |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20030037692A KR20030037692A (en) | 2003-05-16 |
| KR100457929B1 true KR100457929B1 (en) | 2004-11-18 |
Family
ID=29567967
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2001-0068528A KR100457929B1 (en) | 2001-11-05 | 2001-11-05 | System of Soft Remote Controller Using Hand Pointing Recognition |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100457929B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100815159B1 (en) * | 2005-12-08 | 2008-03-19 | 한국전자통신연구원 | 3D input apparatus by hand tracking using multiple cameras and its method |
| KR101312625B1 (en) | 2006-11-03 | 2013-10-01 | 삼성전자주식회사 | Apparatus and method for tracking gesture |
| US9412013B2 (en) | 2014-03-03 | 2016-08-09 | Electronics And Telecommunications Research Institute | Method and apparatus for recognizing hand motion |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060070280A (en) | 2004-12-20 | 2006-06-23 | 한국전자통신연구원 | Apparatus and its method of user interface using hand gesture recognition |
| KR100723402B1 (en) * | 2005-02-15 | 2007-05-30 | 삼성전자주식회사 | Apparatus and method for recognizing gesture, and computer readable media for storing computer program |
| KR101287497B1 (en) * | 2006-01-06 | 2013-07-18 | 삼성전자주식회사 | Apparatus and method for transmitting control command in home network system |
| KR100791362B1 (en) * | 2006-06-09 | 2008-01-03 | 한국과학기술원 | Multimedia storytelling system and method using Baby Sign Recognition |
| KR100818171B1 (en) * | 2006-06-09 | 2008-04-03 | 한국과학기술원 | 3D position recognition through hand pointing command |
| KR100835459B1 (en) * | 2006-06-22 | 2008-06-04 | 한국정보통신대학교 산학협력단 | Input apparatus of three dimensions using hands |
| KR100776801B1 (en) | 2006-07-19 | 2007-11-19 | 한국전자통신연구원 | Gesture recognition method and system in picture process system |
| KR101285359B1 (en) | 2006-11-14 | 2013-07-11 | 삼성전자주식회사 | Apparatus and method for tracking gesture |
| KR100868274B1 (en) * | 2007-06-05 | 2008-11-11 | 영 준 장 | Multimedia remote control system and remote control method |
| KR100960020B1 (en) * | 2008-05-28 | 2010-05-28 | 전자부품연구원 | Vision network system and methor for serving image thereof |
| KR100931403B1 (en) * | 2008-06-25 | 2009-12-11 | 한국과학기술연구원 | Device and information controlling system on network using hand gestures |
| KR101800182B1 (en) | 2011-03-16 | 2017-11-23 | 삼성전자주식회사 | Apparatus and Method for Controlling Virtual Object |
| CN114095648B (en) * | 2020-11-30 | 2024-06-25 | 深圳卡多希科技有限公司 | Method and device for controlling rotation of camera through gestures |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63301697A (en) * | 1987-05-30 | 1988-12-08 | Harumi Senchi | Remote operating method without using handy equipment |
| KR930006521A (en) * | 1991-09-09 | 1993-04-21 | 강진구 | Remote control device using hand signal |
| KR940011498A (en) * | 1992-11-26 | 1994-06-21 | 이덕림 | Method for preparing colored expandable poly (ethylene-styrene) copolymer resin particles |
| KR940017935A (en) * | 1992-12-28 | 1994-07-27 | 윤종용 | Finger remote control device |
| KR19990011180A (en) * | 1997-07-22 | 1999-02-18 | 구자홍 | How to select menu using image recognition |
| KR20020083705A (en) * | 2001-04-30 | 2002-11-04 | 최병득 | Remote control using pattern recognition technique |
| KR20030002937A (en) * | 2001-07-02 | 2003-01-09 | 엘지전자 주식회사 | No Contact 3-Dimension Wireless Joystick |
| KR20030021988A (en) * | 2001-09-07 | 2003-03-15 | 이민호 | Finger remote-controller using image processing |
-
2001
- 2001-11-05 KR KR10-2001-0068528A patent/KR100457929B1/en not_active IP Right Cessation
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63301697A (en) * | 1987-05-30 | 1988-12-08 | Harumi Senchi | Remote operating method without using handy equipment |
| KR930006521A (en) * | 1991-09-09 | 1993-04-21 | 강진구 | Remote control device using hand signal |
| KR940011498A (en) * | 1992-11-26 | 1994-06-21 | 이덕림 | Method for preparing colored expandable poly (ethylene-styrene) copolymer resin particles |
| KR940017935A (en) * | 1992-12-28 | 1994-07-27 | 윤종용 | Finger remote control device |
| KR0178767B1 (en) * | 1992-12-28 | 1999-05-15 | 윤종용 | Remote control using a finger shape |
| KR19990011180A (en) * | 1997-07-22 | 1999-02-18 | 구자홍 | How to select menu using image recognition |
| KR20020083705A (en) * | 2001-04-30 | 2002-11-04 | 최병득 | Remote control using pattern recognition technique |
| KR20030002937A (en) * | 2001-07-02 | 2003-01-09 | 엘지전자 주식회사 | No Contact 3-Dimension Wireless Joystick |
| KR20030021988A (en) * | 2001-09-07 | 2003-03-15 | 이민호 | Finger remote-controller using image processing |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100815159B1 (en) * | 2005-12-08 | 2008-03-19 | 한국전자통신연구원 | 3D input apparatus by hand tracking using multiple cameras and its method |
| KR101312625B1 (en) | 2006-11-03 | 2013-10-01 | 삼성전자주식회사 | Apparatus and method for tracking gesture |
| US9412013B2 (en) | 2014-03-03 | 2016-08-09 | Electronics And Telecommunications Research Institute | Method and apparatus for recognizing hand motion |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20030037692A (en) | 2003-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100457929B1 (en) | System of Soft Remote Controller Using Hand Pointing Recognition | |
| JP2941207B2 (en) | Gesture recognition system | |
| Ambikapathy et al. | Analysis of Object Following Robot Module Using Android, Arduino and Open CV, Raspberry Pi with OpenCV and Color Based Vision Recognition | |
| US10001844B2 (en) | Information processing apparatus information processing method and storage medium | |
| US11308347B2 (en) | Method of determining a similarity transformation between first and second coordinates of 3D features | |
| Lee et al. | Vision-based remote control system by motion detection and open finger counting | |
| JP5422735B2 (en) | Computer-aided analysis method for real-time use of image sequences including variable postures | |
| US6697072B2 (en) | Method and system for controlling an avatar using computer vision | |
| JP3114813B2 (en) | Information input method | |
| EP3037917B1 (en) | Monitoring | |
| US10169880B2 (en) | Information processing apparatus, information processing method, and program | |
| CN108200334B (en) | Image shooting method and device, storage medium and electronic equipment | |
| US6587783B2 (en) | Method and system for computer assisted localization, site navigation, and data navigation | |
| US20180239428A1 (en) | Remote perception of depth and shape of objects and surfaces | |
| KR20150055543A (en) | Gesture recognition device and gesture recognition device control method | |
| JPH0844490A (en) | Interface device | |
| EP3572910B1 (en) | Method, system and computer program for remotely controlling a display device via head gestures | |
| KR101662022B1 (en) | Apparatus and Method for Device Control using Gesture | |
| US10444852B2 (en) | Method and apparatus for monitoring in a monitoring space | |
| JP2006244272A (en) | Hand position tracking method, device and program | |
| WO2019156990A1 (en) | Remote perception of depth and shape of objects and surfaces | |
| GB2345538A (en) | Optical tracker | |
| CN106951077B (en) | Prompting method and first electronic device | |
| Kapuscinski et al. | Recognition of signed dynamic expressions observed by ToF camera | |
| JPH08212327A (en) | Gesture recognition device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20101101 Year of fee payment: 7 |
|
| LAPS | Lapse due to unpaid annual fee |