KR20030037692A - 손 지시 인식을 이용한 원격제어 시스템 및 방법 - Google Patents

손 지시 인식을 이용한 원격제어 시스템 및 방법 Download PDF

Info

Publication number
KR20030037692A
KR20030037692A KR1020010068528A KR20010068528A KR20030037692A KR 20030037692 A KR20030037692 A KR 20030037692A KR 1020010068528 A KR1020010068528 A KR 1020010068528A KR 20010068528 A KR20010068528 A KR 20010068528A KR 20030037692 A KR20030037692 A KR 20030037692A
Authority
KR
South Korea
Prior art keywords
hand
electronic device
shape
person
remote control
Prior art date
Application number
KR1020010068528A
Other languages
English (en)
Other versions
KR100457929B1 (ko
Inventor
도준형
김정배
박광현
변증남
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR10-2001-0068528A priority Critical patent/KR100457929B1/ko
Publication of KR20030037692A publication Critical patent/KR20030037692A/ko
Application granted granted Critical
Publication of KR100457929B1 publication Critical patent/KR100457929B1/ko

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C23/00—Non-electrical signal transmission systems, e.g. optical systems
    • G08C23/04—Non-electrical signal transmission systems, e.g. optical systems using light waves, e.g. infrared
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)

Abstract

복수개의 카메라를 이용하여 사람의 손 제스쳐를 추적/인식하여 상기 손 제스쳐가 가리키는 전자기기를 판단하여 해당 전자기기를 동작시킬 수 있는 손 지시 인식을 이용한 원격제어 시스템 및 방법에 관한 것으로, 화상 인식 기술을 이용하여 소정의 실내 공간내에 배치된 적외선 구동 가능한 전자기기를 원격으로 제어하는 원격 제어 방법에 있어서, 사람의 움직임을 감지하여 영상 데이터로 취득하는 취득단계; 취득된 사람의 형상중에서 손의 형상만을 추출하는 추출단계; 미리 계산되어 저장되어 있는 상기 실내 공간의 지형학적 위치에 기초하여 상기 인식된 사람의 손의 위치 및 손이 가리키는 방향을 계산하는 계산단계; 및 구동을 제어할 전자기기의 상기 실내 공산내의 위치 및 각 기기의 구동 적외선 신호를 미리 저장하고 있어, 상기 계산단계에서의 측정결과에 따라 대응되는 제품의 위치를 판정하여 해당 기기를 구동시키는 제어단계를 포함하여 이루어지는 것을 특징으로 하여 실내 공간 내에서 기존의 리모컨을 사용하지 않고도 어디에서든지 자연스럽고 편리하게 원하는 전자기기를 동작시킬수 있다는 효과가 있다.

Description

손 지시 인식을 이용한 원격제어 시스템 및 방법{System and Method of Soft Remote Controller Using Hand Pointing Recognition}
본 발명은 화상 인식을 이용한 리모트 콘트롤 방법 및 시스템에 관한 것으로, 보다 구체적으로는, 복수개의 카메라를 이용하여 사람의 손 제스쳐를 추적/인식하여 상기 손 제스쳐가 가리키는 전자기기를 판단하여 해당 전자기기를 구동시킬 수 있는 손 지시 인식을 이용한 원격제어 시스템 및 방법에 관한 것이다.
최근 컴퓨터를 이용한 영상 처리 기술 및 화상 인식 기술의 발달에 따라 이를 이용한 다양한 응용 분야가 발전하고 있다. 이러한 다양한 응용 분야 중 손 제스쳐 인식분야는 인간과 컴퓨터간의 정보전달 수단의 한 방법으로서 꾸준한 기술개발이 진행되고 있다.
그 중에서 일상 생활에 적용가능한 분야로서, 가정 내 TV, 오디오, 비디오 등 전자기기와의 인터페이스를 위한 손 제스쳐 인식 기술이 있는데, 이러한 손 제스쳐 인식 기술 중 대표적인 것이 센서가 장착된 장갑을 이용한 명령어 생성 방법이 있다.
출원번호 10-1997-0017037 로 1997년 5월 2일 출원되어 1999년 11월 22일 등록된 대한민국 특허 10-0244523 호인 "가상현실용 실시간 인터페이싱 시스템의 구성 및 그 동작방법"에 따르면, 센서 장갑을 통해 손의 움직임에 대한 실시간 정보를 컴퓨터로 보내어 다차원 정보를 분석하여 미리 분류된 손의 움직임 방향 및 손의 모양을 통해 사람에 관계없이 손 제스쳐 인식을 할 수 있는 기술이 개시되어 있다.
또한, 출원번호 10-1998-0048730 로 1998년 11월 13일 출원된 대한민국 공개특허공보 특2000-0032308 (공개일자 : 2000년 6월 15일)호인 "장갑장치를 이용한 연속된 손제스쳐 명령어 생성방법 및 그 시스템"에는, 장갑을 낀 손의 움직임 속도와 속도 변화 요소를 이용하여 이 기본 요소의 인식을 바탕으로 의미 해석을 함으로써 다양한 제스쳐의 인식 및 확장이 가능한 시스템 구현 방법이 개시되어 있다.
그러나, 이러한 센서 부착 장갑 장치를 이용한 손 제스쳐 인식은, 제어 시스템과 연결되는 장갑 장치라는 별도의 장치가 필요하고, 상기 장갑 장치를 포함한 제어 시스템에 새로운 기술이 부가되는 경우 시스템 전체를 다시 구현해야 한다는 점에서 범용성 및 확장성에 있어 문제점을 가지고 있다.
한편, 상기 장갑 장치를 이용하지 않고 카메라 등의 입력장치를 통해 손 제스쳐를 인식하는 기술도 개발되고 있다.
예를들어, 출원번호 10-1998-0007180 로 1998년 3월 4일 출원된 대한민국 공개특허공보 특1999-0073927호(공개일 : 1999년 10월 5일)인 "화상 인식에 의해 동작하는 장치 및 그 방법"에는 TV 나 비디오 등 전자기기에 CCD 카메라 등 입력화상장치를 통해 입력된 손의 형상을 인식한 후 이를 미리 저장된 손의 형태와 비교하여 해당하는 제어명령을 발생하는 기술이 개시되어 있다.
그러나, 이러한 기술은 전자기기를 구동시키기 위해서는 사용자가 상기 전자기기의 특정 위치로 이동하여야 하고, 손의 모양도 상기 전자기기에 미리 입력된 특정 형상으로만 해야 한다는 불편함이 있다. 또한, 각각의 전자기기에 대해 내장형 또는 외장형 카메라를 설치해야 하기 때문에 실내 공간 내에 있는 모든 가전제품을 구동시키고자 할 경우 가전제품마다 카메라가 필요하여 많은 비용이 드는 문제점을 가지고 있다.
한편, 출원번호 10-1998-0062178 로 1998년 12월 30일에 출원되어 2000년 7월 25일 공개된 대한민국 공개특허공보 특2000-0045611호인 "정규화 색상 분포와 방향 히스토그램을 이용한 손 제스쳐 인식 방법"에는 입력된 손의 형상을 정규화된 색상으로 변환시키고 이를 가우시안 분포로 모델링 한 후 미리 결정된 색을 강조한 영상을 만든다음 윤곽선을 추출하여 손의 컬러 영상을 인식하도록 하여, 복잡한 배경에 강한 손 제스쳐 인식 방법이 개시되어 있다.
그러나, 아직까지 상기 언급한 바와같은 손 제스쳐 인식 기술들을 종합하면서 상기 손 제스쳐 인식 기술들에서 나타나는 단점 내지 불편함을 해소하여 정상인 외에도 이동하기 불편한 노약자나 장애인들도 리모컨을 이용하지 않고 전자기기 등을 동작시킬 수 있는 방법은 구체적으로 제시되고 있지 않은 실정이다.
본 발명은 손 제스쳐 인식 기술을 이용하여 전자기기 등과의 인터페이스를 용이하게 할 수 있도록, 사람의 손을 추적하고 인식하는 영상 처리 기술, 카메라회전과 손의 3차원 벡터를 인식하는 기구학적 연산 처리 기술, 그리고 리모컨 신호를 처리하는 인터페이싱 기술을 접목하여 범용성 및 확장성이 용이한 손 지시 인식을 이용한 원격제어 방법 및 시스템, 그리고 상기 원격제어방법을 구현하는 각 단계를 실행시킬 수 있는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체를 제공하는 것을 목적으로 한다.
도 1은 본 발명에 따른 손의 지시로 전자기기를 동작 시킬 수 있는 소프트 리모컨 시스템의 처리과정을 간략화한 흐름도이고,
도 2은 본 발명에 따른 카메라, 영상 처리 보드, 컴퓨터, 리모컨 보드, 전자기기로 구성되는 전체 시스템을 설명하기 위한 도이고,
도 3는 도 1의 내부 구성 및 동작 흐름도이고,
도 4는 도 2의 카메라로 입력되는 영상으로부터 손 영상과 얼굴 영상을 분리하기 위한 데이터 처리 흐름도이고,
도 5는 입력영상에서 분리된 손 영상으로 부터 손방향 벡터의 계산 방법을 설명하기 위한 도이고,
도 6은 3차원에서 손이 가리키는 방향의 계산 과정을 설명하기 위한 도이고,
도 7은 리모컨 보드의 수광 유닛 구성도이며,
도 8은 리모컨 보드의 송신 유닛 회로도이다.
* 도면의 주요부분에 대한 부호의 설명
200a, 200b, 200c, 200d : 적외선 구동 가능한 전자기기
201 : 사람의 영굴 영역 202 : 사람의 손 영역
210 : 리모컨 230 : 팬/틸트 제어모듈
240 : 영상처리모듈 250a, 250b, 250c : 칼라 카메라
220 : 컴퓨터
본 발명의 제1 측면에 따르면, 소정의 실내 공간내에 배치된 적외선 구동 가능한 전자기기를 원격으로 구동 제어하는 원격 제어 시스템에 있어서,
상기 공간내에 있는 사람의 움직임을 감지하여 사람의 형상을 영상 데이터로 취득하는 영상 데이터 취득 수단;
상기 취득된 사람의 형상으로부터 손 형상만을 추출하는 손 형상 추출 수단;
상기 추출된 손 형상으로부터 손의 위치 및 손이 가리키는 방향을 인식하는 손 지시 인식수단; 및
상기 손 지시 인식수단으로부터의 인식 결과에 근거하여 해당 전자기기의 동작을 제어하는 제어수단을 포함하며,
상기 제어수단은, 상기 영상 데이터 취득 수단, 손 형상 추출 수단 및 손 지시 인식 수단을 제어하고, 적외선으로 원격 구동 제어 가능한 상기 전가기기의 위치 및 상기 각 전자기기의 구동 적외선 신호를 저장하고 있으며, 미리 계산되어 저장되어 있는 상기 전자기기의 위치에 대응하는 데이터를 상기 손 지시 인식 수단에 제공하여 상기 손 지시 인식 수단으로부터의 측정결과에 따라 대응되는 전자기기의상기 실내 공간상에서의 위치 판정을 통해 해당 제품이 구동가능하게 하는 것을 특징으로 하는 원격제어 시스템이 제공된다.
또한, 본 발명의 제2 측면에 따르면, 화상 인식 기술을 이용하여 소정의 실내 공간내에 배치된 적외선 구동 가능한 전자기기를 원격으로 제어하는 원격 제어 방법에 있어서,
사람의 움직임을 감지하여 영상 데이터로 취득하는 취득단계;
취득된 사람의 형상중에서 손의 형상만을 추출하는 추출단계;
미리 계산되어 저장되어 있는 상기 실내 공간의 지형학적 위치에 기초하여 상기 인식된 사람의 손의 위치 및 손이 가리키는 방향을 계산하는 계산단계; 및
구동을 제어할 전자기기의 상기 실내 공산내의 위치 및 각 기기의 구동 적외선 신호를 미리 저장하고 있어, 상기 계산단계에서의 측정결과에 따라 대응되는 제품의 위치를 판정하여 해당 기기를 구동시키는 제어단계를 포함하여 이루어지는 것을 특징으로 하는 손 지시 인식을 이용한 원격제어 방법이 제공된다.
그리고, 본 발명의 제3 측면에 따르면, 상기 손 지시 인식을 이용한 원격제어 방법을 구현하는 각 단계를 실행시킬 수 있는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체가 제공된다.
후술하겠지만, 본 발명은 팬/틸트 모듈이 부착된 복수개의 카메라, 적절하게는 3대의 카메라로 사용자를 추적하고 손이 가리키는 방향을 인식함으로써 실내 공간내에 배치되어 있는 여러 전자기기를 선택하여 동작 시킬 수 있도록 하였으며,보다 적절하게는, 전자기기의 여러 작동에 대응하도록 미리 결정된 손 제스쳐를 인식하여 해당 기능을 제어할 수 있도록 하며, 추가로 사용자에게 동작시키고자 하는 전자기기의 명칭을 음성으로 미리 알려줘 사용자가 정확한 전자기기를 선택할 수 있도록 하여 전자기기의 오동작을 막게 할 수 있다. 또한, 본 발명에서는 통상적으로 사용되고 있는 리모컨의 적외선 신호를 이용하여 지정된 전자기기를 구동 하고자 한다. 이와 같은 목적을 달성하기 위해서 본 발명에는 크게 네 가지 기술이 적용된다.
첫째, 사용자의 위치에 상관 없이 사용자의 동작을 관찰하기 위하여 카메라의 움직임에 관계된 팬/틸트 모듈을 제어함으로써 항상 사용자를 추적 한다.
둘째, 카메라의 입력 영상으로부터 정규화된 rgb 영상 변환법과 같은 효율적인 영상처리기술을 적용하여 손 영상만을 추출하고 손 영상의 특징을 추출 한다.
셋째, 추출된 손 영상의 특징으로부터 적절한 계산처리를 통해 3차원 공간상에서 손의 위치 및 손이 지시하는 방향을 인식하고 지시된 위치를 계산 한다.
넷째, 제어하고자 하는 각 전자기기 리모컨의 적외선 신호를 컴퓨터에 저장해 놓고, 지시된 가전 기기에 해당하는 리모컨의 적외선 신호를 송신하는 시스템 환경을 구축 한다.
이하, 첨부한 도면을 참고하여 본 발명을 단지 예의 방법으로 상세히 설명하도록 한다. 후술하는 발명의 상세한 설명을 통해 본 발명의 장점 내지 특징이 보다 명확히 이해될 수 있을 것이며, 발명의 설명에 있어서 본 발명의 요지와 직접관련되지 않는 공지 기술에 대한 상세한 설명은 생략하도록 하겠다.
도 1은 본 발명에 따른 손 지시 인식을 이용한 원격제어 시스템의 신호 처리 과정을 간략화한 블록도로서, 원하는 영상 데이터를 받아들이기 위한 데이터 획득 모듈(110)과, 그 획득된 데이터에서 손과 얼굴 영역의 영상을 분리하는 전처리 모듈(120)과, 이러한 손과 얼굴 영역의 영상 데이터를 바탕으로 손 영역만을 추출하는 손 영역 분할 모듈(130)과, 추출된 손 영역에서 손이 가리키는 지점을 계산하는 손 지시 인식 모듈(140)과, 손이 가리킨 전자기기를 동작 시키기 위한 전자기기 제어 모듈(150)로 구성된다.
도 2는 본 발명에 따른 원격제어 시스템을 이해가 쉽도록 그림으로 나타낸 것이다.
상기 데이터 획득 모듈(110)은 사용자의 손 방향을 인식하기 위한 복수개의 카메라(250a, 250b, 250c)로 구성되어 있으며, 상기 각 카메라에는 사용자의 위치를 추적하기 위해 각 카메라를 2축으로 회전 시킬수 있는 팬/틸트 모듈이 장착되어 되어 있다. 상기 복수개의 카메라로부터 획득된 칼라 영상 데이터는 영상처리보드(240)와 메인 컴퓨터(220)에 의해 처리 된다. 또한, 상기 팬/틸트 모듈은 팬/틸트 제어기(230)를 통하여 구동이 되며 구동 명령은 메인 컴퓨터(220)에서 이루어 진다. 전처리 모듈(120)에서 손 지시 인식 모듈(140)까지는 메인 컴퓨터(220)에서 모든 연산이 이루어지며, 전자기기 제어 모듈(150)에서는 리모컨 보드(210)를 통하여 사용자가 지시하는 전자기기(200a, 200b,...)를 구동시키도록 한다.
상기 복수개의 카메라(250a, 250b, 250c)는 사용자의 3차원 위치가 정확히 계산될 수 있도록, 도면에 도시된 바와 같이, 3대의 카메라를 천정 부위에 배치시키는 것이 적절하다. 상기 3대의 카메라(250a, 250b, 250c)의 배치는 삼각형 형상으로 배치하는 것이 보다 적절하다.
한편, 상기 복수개의 카메라(250a, 250b, 250c)를 통해 사용자의 위치를 정확히 인식 및 추적하기 위해, 상기 전자기기들이 배치되어 있는 실내 공간의 지형학적 형상 및 상기 전자기기들의 상기 실내 공간상의 배치 위치는 상기 컴퓨터(220)의 소정의 메모리상에 미리 저장시켜 놓는다.
후술하는 전자기기 위치 데이터베이스(312)에 이러한 데이터가 저장되는데, 이 데이터는 실내공간의 한 지점을 x, y, z 축으로 이루어진 절대 좌표계의 원점(x0,y0,z0)으로 보았을 때, 이 절대 좌표계의 원점으로부터의 실제 거리값(x-x0,y-y0,z-z0)에 해당하는 값이다.
도 3은 도 1에 도시된 본 발명의 적절한 실시예에 따른 손 지시 인식을 이용한 원격제어 시스템의 구체적인 동작 흐름도를 보여 주고 있다.
먼저, 데이터 획득 모듈(도 1의 "110")에서는 사용자의 손이 3대의 카메라의 영상내에 들어오도록 하기 위해 움직임이 필요한 카메라를 선택하여(302) 선택된 카메라에 부착된 팬/틸트 모듈을 제어(301)함으로서 카메라를 통한 영상스캐닝(300)을 통해 카메라로부터 원하는 칼라 영상 데이터(303)를 획득하게 된다.
즉, 사람이 움직이면 카메라에 따라서는 사용자의 모습이 잡히지 않을 수도 있으므로, 사람이 카메라의 영상에서 사라지는 카메라에 대해서 상기 팬/틸트 모듈의 제어를 통해 카메라를 움직임으로써 사람이 카메라 영상의 중앙에 오도록 하는 것이다.
다음으로, 이 영상으로부터 전처리 모듈(도 1의 "120")은 손과 얼굴 영상을 추출(304)한다. 손과 얼굴 영상을 추출하는 것은, 사람의 신체부위를 추적하기 위해서는 살색 부분을 추적하게 되는데, 사람의 얼굴과 손 부분은 거의 항상 노출되어 있게 되므로 사람의 얼굴 및 손 부위를 추출하게 되는 것이며, 이후 얼굴 영역을 제외시켜 손 영역만의 영상을 얻는다. 이러한 절차는 손 영역 분할 모듈(도 1의 "130")에서 이루어지는데, 추출된 손과 얼굴 영상으로부터 손의 상대적 위치를 계산(305)하여 손의 위치가 카메라 영상의 중심에 나타나도록 카메라를 회전시키고 카메라 영상에서 손의 위치가 적절하게 나타나면 손과 얼굴 영상에서 손 부분 영상만을 분리(306) 시킨다.
손 지시 인식 모듈(도 1의 "140")에서는 분리된 손 영상으로부터 절대 좌표계에서 본 3차원 손 위치를 계산(307)한 다음, 손의 위치가 일정 시간동안 유지되는지를 판단하여(308) 미리 계산되어 있는 소정시간 동안 손의 움직임이 없으면 카메라의 영상에 보이는 손의 방향을 계산(309)하여 그 정보로부터 손의 위치 및 손이 가리키는 방향을 계산(440)한다. 한편, 상기 손의 위치가 정지해 있는 일정시간에 대한 정의는 본 발명에 따른 원격제어시스템 설계시 임의로 설정할 수 있는것이다.
마지막으로, 전자기기 제어 모듈(도 1의 "150")에서는 상기 계산된 손의 방향에 기초하여 전자기기의 위치 DB(312)로부터 손의 방향에 위치해 있는 전자기기를 찾는다(311). 보다 적절하게는, 오동작을 막기 위해 상기 손의 위치 및 방향을 계산 한 후 인식된 해당 전자기기가 정확히 사용자가 지시한 기기인지를 사용자에게 확인하는 확인 메시지를 보낸다(313). 상기 확인 메시지(313)는 전자기기를 구별할 수 있는 시각적 또는 청각적인 메시지일 수 있으며, 각 전자기기 이름이 출력되는 음성 메시지인 것이 적절하다.
한편, 사용자의 손 움직임에 변화가 없으면(314), 각 전자기기를 구동시키는 리모컨의 적외선 신호 DB(316)로부터 지정된 전자기기에 해당하는 리모컨의 적외선 신호를 출력(315)하여 원하는 전자기기를 구동시킨다. 만일 오동작으로 판단한 사용자가 손을 움직이면 다시 처음의 상태로 되돌아간다.
도 4, 5, 6, 7, 8 은 도 1에 도시된 각 모듈별 처리 과정에서 보다 구체적인 언급이 필요한 부분을 설명하기 위한 그림이다.
먼저, 도 4는 전처리 모듈(120)에서 손과 얼굴 영상이 추출되는 과정을 구체적으로 나타낸 것이다.
먼저, 예를들어 640x480 픽셀 크기의 칼라 영상(410)을 빠른 영상 처리를 위해서 1/4로 영상을 축소(420)하고, 칼라RGB영상은 각각 정규화된 rgb 변환법( r=R/(R+G+B),g=G/(R+G+B),b=B/(R+G+B) )(430)과 색깔(hue)h변환법 ()(440)에 의해서 영상이 변환된다. 정규화된rgb영상은 조명의 변화에 둔감하여 밝은 조명이나 그림자의 영향을 덜 받으며 색깔(hue) 영상 역시 조명의 영향을 효과적으로 분리하고 조명에 따른 값의 변화도 적기 때문에 두 변환법을 피부색과 머리카락색을 추출하는데 함께 사용한다. 이러한 추출은 피부색과 머리카락색에 대해 각각 적당한 문턱값을 취한 이진화(450, 460)로 가능하다. 그러나, 이들 이진화 영상은 많은 잡음 부분을 포함하고 있으므로 이들에 대해 논리적 AND 연산을 취하고 논리적 연산으로 제거 되지 않는 작은 영역들을 제거(470)함으로써 손 영상과 얼굴 영상만을 분리(480)할 수가 있다.
도 5는 카메라의 영상에 보이는 손의 방향을 계산하는 방법을 설명하기 위한 그림이다. n번째 카메라에서 보이는 영상의 축을 Xcn ,Ycn 이라 할 때, 영상에서 보이는 손의 방향 θ 는 아래 수학식 1을 통해 구할 수 있다.
이 때,이고, M00, M11, M10, M01, M20은 손 영상의 모멘트를 나타내는 것으로 아래와 같은 수학식 2를 통해 구하여 진다.
도 6은 카메라의 영상에서의 손 방향과 위치를 이용하여 3차원 공간상에서 손이 가리키고 있는 위치를 구하는 방법을 설명하기 위한 그림이다.
카메라를 통해 입력된 영상의 3차원 위치 및 방향을 계산하는 방법은 여러가지가 있을 수 있으며, 그러한 방법 중 한 방법을 이하 설명하도록 한다.
일반적으로, 카메라로 입력된 영상은 2차원 정보만을 가지고 있기 때문에, 그 영상의 3차원 위치와 방향을 알 수 없고 단지 손 영역을 포함하는 평면 정보만을 알 수 있다. 따라서, 3대의 카메라 중 손의 방향이 뚜렷이 보이는 2대의 카메라(250a, 250b) 영상으로부터 얻은 두 평면 방정식의 교점을 구하면 3차원 공간상에서 손이 가리키는 방향을 알 수 있으며, 이 방향의 연장선을 그으면 손이 가리키는 위치까지 알 수 있다.
이 때, 각 카메라 좌표계(610,620)에서 보았을 때 손이 위치한 평면의 방정식은 아래 수학식 3과 같이 2대의 카메라(250a, 250b) 영상으로부터 손 영역의 무게 중심점과 손 방향 θ값을 이용하여 구할 수 있으며, 이를 x,y,z 축으로 이루어진 절대 좌표계(600)에서 본 평면 방정식으로 변환할 수 있다. 카메라 좌표계에서 절대 좌표계로의 변환은 아래 수학식 4를 통해 이루어질 수 있다.
여기서, ( xc1, yc1)는 손 영역의 무게 중심점이다.
여기서, (Cnx, Cny, Cnz)는 n번째 카메라 팬/틸트 모듈의 위치이고, cθ는 cosθ, sθ는 sinθ, θ1과 θ2는 각각 카메라 팬/틸트 회전각이며, α0, α1, d1, d2는 팬/틸트 모듈과 카메라의 부착 위치에 의해 결정되는 값이다.
한편, 손이 가리키고 있는 전자기기를 구동시키기 위한 처리 과정은 다음과 같다.
우선, 리모컨 신호를 수신할 수 있는 수광 유닛으로 각 전자기기에 대한 리모컨의 적외선 신호를 받아 리모컨의 적외선 신호 DB를 미리 구축해 놓는다. 사용자의 손이 가리키고 있는 곳이 TV 라고 인식이 되면, "TV를 켤까요?" 와 같은 음성 안내를 통하여 사용자가 구동시키고자 하는 전자기기를 확인하고, 이러한 확인 후 사용자의 손이 소정 시간동안 동작이 없으면 지정된 전자기기, 즉 TV를 동작시키는리모컨의 적외선 신호를 송신하여 원하는 전자기기를 동작시킨다.
도 7은 통상적인 리모컨 보드의 수광 유닛 구성을 나타낸 흐름도이고, 도 8 역시 통상적인 리모컨 보드의 송신 유닛 회로도에 대응하는 예시도를 그린 것이다.
지금까지 살펴본 바와 같이, 본 발명은 실내 공간 내에서 기존의 리모컨을 사용하지 않고도 어디에서든지 자연스럽고 편리하게 원하는 전자기기를 동작시킬수 있다는 장점을 가지고 있어, 몸이 불편한 장애인이나 노약자, 또는 리모컨을 가져오기가 불편한 상황에 있는 일반 사용자들에게도 아주 유용할 것이다.
특히, 전자기기의 위치가 바뀌거나 새로운 전자기기를 사용하게 되더라도 실내 공간 상에서 전자기기의 위치와 그 전자기기를 구동시킬 수 있는 리모컨의 적외선 신호, 그리고 새로이 설치된 전자기기에 대응하는 확인 음성 신호만 새로이 컴퓨터에 입력만 하면 되기 때문에, 범용성 및 기능 확장성이 용이하다.
지금까지 설명은 본 발명의 이해를 위해 본 발명의 구체적 실시예를 들어 본 발명의 원리 및 특징을 설명하였으나 본 발명의 범위는 이러한 실시예에 의하여 제한되지 않는다. 당 기술분야의 통상의 지식을 가진 자에게는 첨부한 특허청구범위의 범주 및 정신을 벗어나지 않고 본 발명은 다양하게 수정 및 변형할 수 있다.
예를들어, 손의 영상을 추출하여 전자기기를 원격 제어하는데 있어서, 단순히 손의 정지 시간을 통해 전자기기의 온/오프(on/off)를 수행하는 것 이외에, 소정의 손의 고유 체스쳐에 따라 전자기기의 해당 기능을 대응시키도록 하여, 사람이해당 기능을 구동시키기 위해 미리 입력된 손 제스쳐를 소정 시간동안 유지하고 있도록 하여 전자기기의 다양한 기능을 본 발명에 따른 원격제어방법을 통해 구현시킬 수 있다.

Claims (8)

  1. 소정의 공간내에 배치된 적외선 구동 가능한 복수개의 전자기기를 원격으로 구동 제어하는 원격 제어 시스템에 있어서,
    상기 공간내에 있는 사람의 움직임을 감지하여 사람의 형상을 영상 데이터로 취득하는 영상 데이터 취득 수단;
    상기 취득된 사람의 형상으로부터 손 형상만을 추출하는 손 형상 추출 수단;
    상기 추출된 손 형상으로부터 손의 위치 및 손이 가리키는 방향을 인식하는 손 지시 인식수단; 및
    상기 손 지시 인식수단으로부터의 인식 결과에 근거하여 해당 전자기기의 동작을 제어하는 제어수단을 포함하며,
    상기 제어수단은, 상기 영상 데이터 취득 수단, 손 형상 추출 수단 및 손 지시 인식 수단을 제어하고, 적외선으로 원격 구동 제어 가능한 상기 전가기기의 위치 및 상기 각 전자기기의 구동 적외선 신호를 저장하고 있으며, 미리 계산되어 저장되어 있는 상기 전자기기의 위치에 대응하는 데이터를 상기 손 지시 인식 수단에 제공하여 상기 손 지시 인식 수단으로부터의 측정결과에 따라 대응되는 전자기기의 상기 실내 공간상에서의 위치 판정을 통해 해당 제품이 구동가능하게 하는 것을 특징으로 하는 손 지시 인식을 이용한 원격제어 시스템.
  2. 제 1 항에 있어서,
    상기 전자기기에 대응하는 고유 식별 신호를 저장하고 있어 상기 손 지시 인식 수단에 의한 기기의 위치 계산 후 계산된 기기가 맞는지를 상기 식별 신호를 출력하여 사람에게 확인을 구한 후, 그 결과를 상기 제어수단에 전달하여 해당 제품의 구동 여부를 결정하도록 하는 확인수단을 더 포함하는 것을 특징으로 하는 시스템.
  3. 제 2 항에 있어서,
    상기 제어수단은 컴퓨터로 구성되고,
    상기 손 형상 추출 수단, 손 지시 인식 수단 및 확인수단은 각각 상기 컴퓨터의 내부 또는 외부에 설치되어 상기 컴퓨터와 유선 또는 무선으로 제어신호 입출력이 가능한 하나의 모듈로 구성되는 것을 특징으로 하는 시스템.
  4. 제 2 항에 있어서,
    상기 식별 신호는 음성 신호인 것을 특징으로 하는 시스템.
  5. 제 1 항에 있어서,
    상기 데이터획득 수단은, 팬/틸트 장치가 부착된 복수개의 카메라로 구성되는 것을 특징으로 하는 시스템.
  6. 화상 인식 기술을 이용하여 소정의 실내 공간내에 배치된 적외선 구동 가능한 전자기기를 원격으로 제어하는 원격 제어 방법에 있어서,
    사람의 움직임을 감지하여 영상 데이터로 취득하는 취득단계;
    취득된 사람의 형상중에서 손의 형상만을 추출하는 추출단계;
    미리 계산되어 저장되어 있는 상기 실내 공간의 지형학적 위치에 기초하여 상기 인식된 사람의 손의 위치 및 손이 가리키는 방향을 계산하는 계산단계; 및
    구동을 제어할 전자기기의 상기 실내 공산내의 위치 및 각 기기의 구동 적외선 신호를 미리 저장하고 있어, 상기 계산단계에서의 측정결과에 따라 대응되는 제품의 위치를 판정하여 해당 기기를 구동시키는 제어단계를 포함하여 이루어지는 것을 특징으로 하는 손 지시 인식을 이용한 원격제어 방법.
  7. 제 6 항에 있어서,
    상기 계산단계에 의한 상기 전자기기의 위치 계산 후 해당 기기가 맞는지를 미리 저장되어 있는 상기 기기에 대응하는 식별 신호를 통해 사람에게 확인을 구하는 확인단계를 더 포함하는 것을 특징으로 하는 방법.
  8. 컴퓨터에,
    소정의 실내 공간내에 배치된 적외선 구동 가능한 전자기기를 원격으로 제어하는 원격 제어 방법에 있어서,
    사람의 움직임을 감지하여 영상 데이터로 취득하는 취득단계;
    취득된 사람의 형상중에서 손의 형상만을 추출하는 추출단계;
    미리 계산되어 저장되어 있는 상기 실내 공간의 지형학적 위치에 기초하여 상기 인식된 사람의 손의 위치 및 손이 가리키는 방향을 측정하는 계산절차;
    상기 계산절차에 의한 상기 전자기기의 위치 계산 후 해당 기기가 맞는지 사용자에게 확인을 구하는 확인절차; 및
    구동을 제어할 제품의 상기 실내 공산내의 위치 및 각 기기의 구동 적외선 신호를 미리 저장하고 있어, 상기 계산단계에서의 측정결과에 따라 대응되는 기기의 위치를 판정하여 해당 기기를 구동시키는 제어절차를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR10-2001-0068528A 2001-11-05 2001-11-05 손 지시 인식을 이용한 원격제어 시스템 KR100457929B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2001-0068528A KR100457929B1 (ko) 2001-11-05 2001-11-05 손 지시 인식을 이용한 원격제어 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0068528A KR100457929B1 (ko) 2001-11-05 2001-11-05 손 지시 인식을 이용한 원격제어 시스템

Publications (2)

Publication Number Publication Date
KR20030037692A true KR20030037692A (ko) 2003-05-16
KR100457929B1 KR100457929B1 (ko) 2004-11-18

Family

ID=29567967

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0068528A KR100457929B1 (ko) 2001-11-05 2001-11-05 손 지시 인식을 이용한 원격제어 시스템

Country Status (1)

Country Link
KR (1) KR100457929B1 (ko)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100723402B1 (ko) * 2005-02-15 2007-05-30 삼성전자주식회사 제스처 인식장치와 방법 및 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체
KR100776801B1 (ko) * 2006-07-19 2007-11-19 한국전자통신연구원 화상 처리 시스템에서의 제스처 인식 장치 및 방법
KR100791362B1 (ko) * 2006-06-09 2008-01-03 한국과학기술원 베이비사인 인식 방법, 이를 이용한 양방향 멀티미디어 동화 구현 시스템 및 방법
KR100818171B1 (ko) * 2006-06-09 2008-04-03 한국과학기술원 손 지시의 3차원 위치 인식 시스템 및 방법
KR100835459B1 (ko) * 2006-06-22 2008-06-04 한국정보통신대학교 산학협력단 맨손을 이용한 3차원 입력장치
KR100868274B1 (ko) * 2007-06-05 2008-11-11 영 준 장 멀티미디어 원격 제어 시스템 및 원격 제어 방법
KR100931403B1 (ko) * 2008-06-25 2009-12-11 한국과학기술연구원 손 동작에 의한 네트워크 상의 기기 및 정보 제어 시스템
US7702130B2 (en) 2004-12-20 2010-04-20 Electronics And Telecommunications Research Institute User interface apparatus using hand gesture recognition and method thereof
KR100960020B1 (ko) * 2008-05-28 2010-05-28 전자부품연구원 비전 네트워크 시스템 및 그 영상 서비스 방법
US7863551B2 (en) 2006-11-14 2011-01-04 Samsung Electronics Co., Ltd. System, method and medium tracking motion of subject using laser
US8009865B2 (en) 2006-11-03 2011-08-30 Samsung Electronics Co., Ltd. Apparatus, method, and medium for tracking gesture
KR101287497B1 (ko) * 2006-01-06 2013-07-18 삼성전자주식회사 홈-네트워크 시스템의 제어 명령 전달 장치 및 그 방법
US9563277B2 (en) 2011-03-16 2017-02-07 Samsung Electronics Co., Ltd. Apparatus, system, and method for controlling virtual object
CN114095648A (zh) * 2020-11-30 2022-02-25 深圳卡多希科技有限公司 一种手势控制摄像头转动的方法和装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100815159B1 (ko) * 2005-12-08 2008-03-19 한국전자통신연구원 다수의 카메라를 이용한 손 추적 3 차원 입력 장치 및 그방법
KR102041191B1 (ko) 2014-03-03 2019-11-06 한국전자통신연구원 손 동작 인식 방법 및 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63301697A (ja) * 1987-05-30 1988-12-08 Harumi Senchi 手元機器を用いない遠隔操作方法
KR940011498B1 (ko) * 1991-09-09 1994-12-19 삼성전자주식회사 수신호를 이용한 원격 제어장치
KR950014920B1 (ko) * 1992-11-26 1995-12-18 주식회사미원유화 착색된 발포성 폴리(에틸렌-스틸렌)공중합 수지입자의 제조방법
KR0178767B1 (ko) * 1992-12-28 1999-05-15 윤종용 손가락 모양을 이용한 원격 제어 장치
KR19990011180A (ko) * 1997-07-22 1999-02-18 구자홍 화상인식을 이용한 메뉴 선택 방법
KR20020083705A (ko) * 2001-04-30 2002-11-04 최병득 도형(패턴)인식 기술을 이용한 원격 제어
KR100446236B1 (ko) * 2001-07-02 2004-08-30 엘지전자 주식회사 비접촉식 3차원 무선 조이스틱
KR20030021988A (ko) * 2001-09-07 2003-03-15 이민호 영상처리를 이용한 원격 손가락 조종기

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7702130B2 (en) 2004-12-20 2010-04-20 Electronics And Telecommunications Research Institute User interface apparatus using hand gesture recognition and method thereof
KR100723402B1 (ko) * 2005-02-15 2007-05-30 삼성전자주식회사 제스처 인식장치와 방법 및 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체
KR101287497B1 (ko) * 2006-01-06 2013-07-18 삼성전자주식회사 홈-네트워크 시스템의 제어 명령 전달 장치 및 그 방법
KR100791362B1 (ko) * 2006-06-09 2008-01-03 한국과학기술원 베이비사인 인식 방법, 이를 이용한 양방향 멀티미디어 동화 구현 시스템 및 방법
KR100818171B1 (ko) * 2006-06-09 2008-04-03 한국과학기술원 손 지시의 3차원 위치 인식 시스템 및 방법
KR100835459B1 (ko) * 2006-06-22 2008-06-04 한국정보통신대학교 산학협력단 맨손을 이용한 3차원 입력장치
US8014567B2 (en) 2006-07-19 2011-09-06 Electronics And Telecommunications Research Institute Method and apparatus for recognizing gesture in image processing system
KR100776801B1 (ko) * 2006-07-19 2007-11-19 한국전자통신연구원 화상 처리 시스템에서의 제스처 인식 장치 및 방법
US8009865B2 (en) 2006-11-03 2011-08-30 Samsung Electronics Co., Ltd. Apparatus, method, and medium for tracking gesture
US7863551B2 (en) 2006-11-14 2011-01-04 Samsung Electronics Co., Ltd. System, method and medium tracking motion of subject using laser
KR100868274B1 (ko) * 2007-06-05 2008-11-11 영 준 장 멀티미디어 원격 제어 시스템 및 원격 제어 방법
KR100960020B1 (ko) * 2008-05-28 2010-05-28 전자부품연구원 비전 네트워크 시스템 및 그 영상 서비스 방법
KR100931403B1 (ko) * 2008-06-25 2009-12-11 한국과학기술연구원 손 동작에 의한 네트워크 상의 기기 및 정보 제어 시스템
WO2009157730A3 (en) * 2008-06-25 2010-03-25 Korea Institute Of Science And Technology System for controlling devices and information on network by using hand gestures
EP2291723B1 (en) * 2008-06-25 2018-06-20 Korea Institute of Science and Technology System and method for controlling devices and information on network by using hand gestures
US9563277B2 (en) 2011-03-16 2017-02-07 Samsung Electronics Co., Ltd. Apparatus, system, and method for controlling virtual object
CN114095648A (zh) * 2020-11-30 2022-02-25 深圳卡多希科技有限公司 一种手势控制摄像头转动的方法和装置

Also Published As

Publication number Publication date
KR100457929B1 (ko) 2004-11-18

Similar Documents

Publication Publication Date Title
KR100457929B1 (ko) 손 지시 인식을 이용한 원격제어 시스템
US5594469A (en) Hand gesture machine control system
Ambikapathy et al. Analysis of Object Following Robot Module Using Android, Arduino and Open CV, Raspberry Pi with OpenCV and Color Based Vision Recognition
US10001844B2 (en) Information processing apparatus information processing method and storage medium
US11308347B2 (en) Method of determining a similarity transformation between first and second coordinates of 3D features
CN109947886B (zh) 图像处理方法、装置、电子设备及存储介质
Lee et al. Vision-based remote control system by motion detection and open finger counting
US9349039B2 (en) Gesture recognition device and control method for the same
JP5422735B2 (ja) 可変姿勢を含む画像シーケンスのリアルタイム利用可能なコンピュータ支援分析方法
JP3114813B2 (ja) 情報入力方法
US10782780B2 (en) Remote perception of depth and shape of objects and surfaces
US10169880B2 (en) Information processing apparatus, information processing method, and program
CN108200334B (zh) 图像拍摄方法、装置、存储介质及电子设备
US6587783B2 (en) Method and system for computer assisted localization, site navigation, and data navigation
JP7162079B2 (ja) 頭部のジェスチャーを介してディスプレイ装置を遠隔制御する方法、システムおよびコンピュータプログラムを記録する記録媒体
KR101662022B1 (ko) 제스쳐를 이용한 디바이스 제어 장치 및 그 방법
EP3115926A1 (en) Method for control using recognition of two-hand gestures
JP2006244272A (ja) 手位置追跡方法、装置、およびプログラム
WO2019156990A1 (en) Remote perception of depth and shape of objects and surfaces
GB2345538A (en) Optical tracker
CN106951077B (zh) 一种提示方法及第一电子设备
Diaz et al. Multimodal sensing interface for haptic interaction
Kapuscinski et al. Recognition of signed dynamic expressions observed by ToF camera
JPH08212327A (ja) 身振り認識装置
CN115830280A (zh) 数据处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20101101

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee