KR100967356B1 - 3차원 손 모델 생성 기술을 이용한 가상 입력 방법 및 장치 - Google Patents

3차원 손 모델 생성 기술을 이용한 가상 입력 방법 및 장치 Download PDF

Info

Publication number
KR100967356B1
KR100967356B1 KR1020080100656A KR20080100656A KR100967356B1 KR 100967356 B1 KR100967356 B1 KR 100967356B1 KR 1020080100656 A KR1020080100656 A KR 1020080100656A KR 20080100656 A KR20080100656 A KR 20080100656A KR 100967356 B1 KR100967356 B1 KR 100967356B1
Authority
KR
South Korea
Prior art keywords
hand
virtual input
model
finger
hand region
Prior art date
Application number
KR1020080100656A
Other languages
English (en)
Other versions
KR20100041464A (ko
Inventor
이성환
이지홍
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020080100656A priority Critical patent/KR100967356B1/ko
Publication of KR20100041464A publication Critical patent/KR20100041464A/ko
Application granted granted Critical
Publication of KR100967356B1 publication Critical patent/KR100967356B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

3차원 손 모델 생성 기술을 이용한 가상 입력 방법 및 장치가 제공된다. 3차원 손 모델 생성 기술을 이용한 가상 입력 장치는 사용자의 손 영역을 포함한 신체 일부가 촬영된 영상에 가상의 입력 수단을 투영하는 가상 입력 수단 제공부, 상기 촬영된 영상으로부터 상기 사용자의 손 영역을 검출하고, 상기 검출된 손 영역의 움직임을 실시간으로 추적하는 손 영역 검출 및 추적부, 상기 실시간으로 추적되는 손 영역에 기초하여 3차원 손 모델을 생성하는 3차원 손 모델 생성부, 상기 3차원 손 모델의 손가락 움직임에 따른 상기 가상의 입력 수단에 대한 입력을 인식하는 손가락 움직임 인식부 및 상기 인식된 입력에 대응하는 기능을 실행하는 기능 실행부를 포함한다.
3D, 가상 입력, 동작 인식

Description

3차원 손 모델 생성 기술을 이용한 가상 입력 방법 및 장치{VIRTUAL INPUT METHOD AND APPARATUS FOR USING 3D HAND MODEL GENERATION}
본 발명은 가상 입력 방법 및 장치에 관한 것으로서, 보다 상세하게는, 3차원 손 모델 생성 기술을 이용한 가상 입력 방법 및 장치에 관한 것이다.
컴퓨터 혹은 이동 단말 장치를 제어하기 위한 고전적이고 일반적인 방법은 키 패드 또는 키보드와 같은 인터페이스를 이용해 문자 혹은 숫자를 입력하는 것이다. 예를 들면, 이동 통신 단말기에서 키 패드를 사용하여 문자나 전화번호를 입력하고 키보드를 이용하여 여러 가지 응용 프로그램들을 제어하는 것은 현재 우리 생활에 있어서 자연스러운 것이 되었다.
이러한 키보드나 키 패드와 같은 입력장치는 여러 개의 키로 구성되어있기 때문에 다른 인터페이스와 비교하여 상대적으로 많은 공간을 차지한다는 불편함을 가지고 있다. 컴퓨터의 경우, 키보드는 여러 가지 명령어를 수행하고 작업을 하는데 있어서 유용한 장치이지만 가장 크기가 큰 입력 장치이기 때문에 불편함을 초래하게 된다. 또한, PDA, 핸드폰 등과 같은 이동 단말 장치의 경우 크기가 점점 작아지는 추세에 있기 때문에 기존의 키 패드 인터페이스는 단말기의 소형화에 적합하 지 않다.
이러한 기존의 불편한 인터페이스의 대안으로 터치 스크린, 가상 키보드, 펜, 휠 등과 같은 새로운 인터페이스들이 제안되었으나 부가장치가 필요하거나 제한된 환경에만 사용이 가능하다는 단점을 지닌다.
이에, 한국공개특허 제 2007-0068555호(가상 키패드를 구비한 휴대용 단말기 및 문자 입력 방법, 이하 종래 기술 1이라 칭함)에서, 가상 키 패드를 구비한 휴대용 단말기를 이용하여 문자를 입력하는 기술에 대해 개시하고 있으나, 종래 기술 1은 특수한 환경에서 제한된 손 형태를 가지고, 각 손가락이 독립적으로 움직여야 하며, 이를 위해 별도의 학습이 필요하고 자연스럽지 못한 움직임으로 동작하게 되는 문제가 있었다.
또한, 미국등록특허 제 5996894호(광각 스캔 장치를 이용한 가상 키 패드, 이하 종래 기술 2라 칭함)에서는, 광각 스캔 장치를 사용하여 사용자가 특정 영역을 터치하면, 특정 영역에 대한 기능이 수행되는 가상 키 패드를 제공하는 기술에 대해 개시하고 있으나, 종래 기술 2는 광각 스캔 장치라는 부가적인 장치가 필요하고, 사용하는 어플리케이션에 따라 각기 다른 광각 스캔 장치를 정의하고 구성해야 하는 불편함이 있었다.
상술한 종래 기술의 문제점을 해결하기 위해, 본 발명은 사용자 손의 위치 및 움직임을 실시간으로 검출하고 추적하여 사용자의 손에 대응하는 3차원 손 모델을 생성하여 제공하는 것이다.
또한, 본 발명은 다양한 환경에서도 사용자 손(더 상세히는 손가락)의 복잡한 움직임을 인식하고, 인식된 움직임에 대응하는 기능을 실행하는 가상 입력 시스템을 제공하는 것이다.
상기 목적을 달성하기 위하여, 본 발명의 일 측면에 따른 3차원 손 모델 생성 기술을 이용한 가상 입력 장치는 사용자의 손 영역을 포함한 신체 일부가 촬영된 영상에 가상의 입력 수단을 투영하는 가상 입력 수단 제공부, 상기 촬영된 영상으로부터 상기 사용자의 손 영역을 검출하고, 상기 검출된 손 영역의 움직임을 실시간으로 추적하는 손 영역 검출 및 추적부, 상기 실시간으로 추적되는 손 영역에 기초하여 3차원 손 모델을 생성하는 3차원 손 모델 생성부, 상기 3차원 손 모델의 손가락 움직임에 따른 상기 가상의 입력 수단에 대한 입력을 인식하는 손가락 움직임 인식부 및 상기 인식된 입력에 대응하는 기능을 실행하는 기능 실행부를 포함한다.
상기 목적을 달성하기 위하여, 본 발명의 다른 측면에 따른 3차원 손 모델 생성 기술을 이용한 가상 입력 방법은 (a) 사용자의 손 영역을 포함한 신체 일부가 촬영된 영상을 입력 받는 단계, (b) 상기 입력된 영상에 가상의 입력 수단을 투영하여 화면에 디스플레이하는 단계, (c) 상기 입력된 영상으로부터 미리 학습된 피부색의 분포를 이용하여 피부색의 영역을 추출하고, 상기 추출된 피부색의 영역으로부터 상기 손 영역을 검출하는 단계, (d) 상기 검출된 손 영역의 움직임을 실시간으로 추적하여, 추적된 손 영역으로부터 손바닥과 손가락을 추정한 후 3차원 손 모델을 생성하는 단계, (e) 상기 3차원 손 모델의 손가락 위치 및 상기 3차원 손 모델의 손가락 길이 변화 중 하나 이상을 기초로 상기 가상의 입력 수단에 대한 입력을 인식하는 단계 및 (f) 상기 인식된 입력에 대응하는 기능을 실행하는 단계를 포함한다.
상기 목적을 달성하기 위한 구체적인 사항들은 첨부된 도면과 함께 상세하게 후술된 실시예들을 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라, 서로 다른 다양한 형태로 구성될 수 있으며, 본 실시예들은 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다.
전술한 본 발명의 3차원 손 모델 생성 기술을 이용한 가상 입력 방법 및 장치의 과제 해결 수단 중 하나에 의하면, 많은 공간을 차지했던 물리적 인터페이스(입력 장치)를 대체하는 효과를 기대할 수 있다.
또한, 사용자는 가상 입력 시스템을 사용하기 위한 별도의 학습이 필요 없 고, 자연스러운 움직으로 원하는 기능을 실행할 수 있는 효과를 기대할 수 있다.
또한, 화상 카메라 이외에 별도의 부가 장치가 필요 없어 하드웨어 유지 비용 감소 효과를 기대할 수 있다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명하도록 한다.
그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
참고로, 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 첨부된 구성도 또는 처리 흐름도를 참고하여, 본 발명의 실시를 위한 구체적인 내용을 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 3차원 손 모델 생성 기술을 이용한 가상 입력 시스템의 구성을 도시한 블록도이다.
본 발명의 일 실시예에 따른 3차원 손 모델 생성 기술을 이용한 가상 입력 시스템(100)은 화상 카메라(110), 영상 입력부(120), 가상 입력 수단 제공부(130), 손 영역 검출 및 추적부(140), 3차원 손 모델 생성부(150), 손가락 움직임 인식부(160) 및 기능 실행부(170)를 포함한다.
참고로, 본 발명의 일 실시예에 따른 도 1에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 구성 요소를 의미하며, 소정의 역할들을 수행한다.
그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
이하, 도 1에 도시된 가상 입력 시스템(100)의 구성 요소를 더 상세히 설명하도록 한다.
참고로, 도 1에 도시된 가상 입력 시스템(100)은 화상 카메라(110)를 구비한 데스크 탑 컴퓨터, 노트북 컴퓨터, 랩톱(laptop) 컴퓨터 및 개인 휴대용 단말기를 포함하며, 휴대용 단말기는 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말기 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함한다.
따라서, 본 발명의 가상 입력 시스템(100)은 고정된 장소 뿐만 아니라 장소에 상관 없이 이동하는 중에도 사용할 수 있다.
먼저, 화상 카메라(110)는 촬영 가능한 범위(시야)내에 위치한 사용자의 손 영역을 포함한 신체 일부를 촬영하며 하나 이상의 화상 카메라(110)가 존재할 수 있다. 여기에서 신체 일부는 사용자의 상반신일 수 있는데, 화상 카메라(110)의 촬영 가능한 범위 내에 다양한 물체가 존재하는 경우, 화상 카메라(110)에서 촬영한 영상에는 사용자의 손 뿐만 아니라 다양한 물체도 함께 촬영되므로, 후술하는 손 영역 검출 및 추적부(140)에서 사용자의 손을 좀 더 용이하게 검출하도록 하기 위해 사용자의 손 영역을 포함한 신체 일부를 촬영한다
이를 위해, 사용자는 도 2에 도시된 것처럼, 도 1에 도시된 가상 입력 시스템(100)을 사용하기 위한 소정의 포즈를 취할 수도 있다.
한편, 영상 입력부(120)는 화상 카메라(110)에서 촬영한 영상을 입력 받고, 가상 입력 수단 제공부(130)는 영상 입력부(120)에 입력된 영상에 가상의 입력 수단을 투영하여 가상 입력 시스템(100)의 화면에 디스플레이한다.
여기에서 가상의 입력 수단은, 예를 들어, 화면에 디스플레이되는 가상의 키보드, 키 패드, 메뉴, 리스트, 아이콘 및 스크롤 등과 같은 다양한 입력 수단을 포함하며, 상술한 가상의 입력 수단은 화면에 기 디스플레이된 또는 앞으로 화면에 디스플레이될 다른 아이템과 겹쳐져서 디스플레이되는 경우, 사용자의 시야를 방해하지 않도록 투명도가 조절될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 촬영된 영상에 가상의 입력 수단을 화면에 투영한 것을 도시한 도면이다.
도 2에서는 가상의 입력 수단으로 키 패드(210)를 사용하였다. 사용자는 도 1에 도시된 가상 입력 시스템(100)을 사용하기 위한 소정의 포즈를 취하고 있으며, 화면에 디스플레이되는 키 패드(210)의 위치는 화면의 중앙을 비롯한 다양한 위치에 설정될 수 있다.
한편, 손 영역 검출 및 추적부(140)는 영상 입력부(120)에서 입력된 영상으로부터 손 영역을 검출하고 검출한 손 영역을 추적한다. 이를 위해, 손 영역 검출 및 추적부(140)는 미리 학습된 피부색을 통해 입력된 영상에서 피부색 영역을 찾은 후, 피부색 영역 중 손 영역의 확률이 가장 높은 부분을 손 영역으로 추정하여 검 출한다. 또한, 손 영역 검출 및 추적부(140)는 검출된 손 영역의 움직임을 입자 필터(Particle Filter) 등과 같은 추적기를 이용하여 실시간으로 추적할 수 있다.
참고로, 입자 필터는 복잡한 환경 속을 움직이는 물체를 추적하는데 효과적인 물체 추적 접근 방법으로서, 사전 분포(prior distributions) 및 사후 분포(posterior distributions)와 같은 베이지안 조건 확률(Bayesian conditional probabilities)에 기반을 두고 있으며, 입자 필터 알고리즘은 샘플링(sampling), 예측(predicting) 및 측정(measuring)의 3 단계로 구성된다.
한편, 3차원 손 모델 생성부(150)는 손 영역 검출 및 추적부(140)에서 검출된 손 영역을 이용하여 3차원 손 모델을 생성하고, 이후, 손 영역 검출 및 추적부(140)에서 추적하는 손 영역의 움직임을, 생성된 3차원 손 모델에 실시간으로 반영한다. 이를 위해, 3차원 손 모델 생성부(150)는 손 영역 검출 및 추적부(230)에서 검출된 손 영역으로부터 대략적으로 손바닥과 손가락을 추정한 후, 신뢰 전파(Belief Propagation)를 이용하여 손 모델에 대한 제약 조건을 따라서 3차원 손 모델을 재구성 및 갱신함으로써 3차원 손 모델을 생성할 수 있다.
한편, 손가락 움직임 인식부(160)는 3차원 손 모델 생성부(150)에서 생성된 3차원 손 모델의 손가락 움직임에 따른 가상의 입력 수단에 대한 입력을 인식한다. 즉, 가상의 입력 수단이 키 패드인 경우, 3차원 손 모델의 손가락 움직임에 따라 키 패드의 키 중 어느 하나가 눌려짐을 인식하는 것이다.
이 과정에서, 사용자의 손가락(3차원 손 모델의 손가락) 중 어느 하나의 손가락이 움직일 때 다른 손가락도 함께 움직일 수 있으므로, 이러한 간섭을 상쇄하 기 위해 히든 마르코프 모델(Hidden Markov Model, HMM), 동적 베이시안 네트워크(Dynamic Bayesian Network, DBN)등의 확률 모델을 이용하여 복잡한 움직임을 해결할 수 있다.
참고로, 히든 마르코프 모델은 확률을 기반으로 하는 방법으로서, 시공간으로 변하는 데이터를 효과적으로 표현할 수 있는 모델이다. 이 확률 모델은 상태 전이 확률과 출력 확률로 기술되는데, 각 확률은 Baum-Welch 알고리즘으로 학습되고 Viterbi 알고리즘을 통해 입력된 데이터를 분류한다.
또한 동적 베이시안 네트워크는 시스템의 상태(state)를 확률 분포로 나타내는 통계학적 모델링 기법으로서, 결정론적(deterministic) 모델링 기법에서 표현하지 못하는 가능성(feasibility) 정도를 나타내는 특징이 있다. 동적 베이시안 네트워크는 패턴 인식, 시계열 예측 시스템 등과 같은 다양한 공학적 및 과학적 문제를 다루는데 사용하고 있으며, 특히 불확실성 요소를 확률적 기법을 통하여 추정하는데 적용되고 있다.
한편, 기능 실행부(170)는 손가락 움직임 인식부(160)에서 인식한 가상의 입력 수단에 대한 입력에 대응하는 기능을 수행한다. 예를 들어, 가상의 입력 수단이 키 패드이고, 3차원 손 모델 손가락의 움직임이 인식된 위치가 키 패드의 ‘3’키와 대응된다면 기능 실행부(170)는 물리적 키 패드 장치(미도시)의 ‘3’키가 눌러졌을 때와 같은 기능을 수행한다.
도 3은 본 발명의 일 실시예에 따른 3차원 손 모델 생성부(150)에 의해 생성된 3차원 손 모델을 도시한 도면이다.
화상 카메라를 통해 촬영된 사용자의 손 영역(310)은, 손 영역 검출 및 추적부(140)를 통해 검출되고, 검출된 손 영역(310)은 대략적으로 손바닥(321)과 손가락(322)으로 나뉘며 신뢰 전파(Belief Propagation)를 통하여 가장 확률이 높은 3차원 손 모델(320)이 생성된다.
도 4a 및 4b는 본 발명의 일 실시예에 따른 3차원 손 모델 생성 기술을 이용한 가상 입력 장치의 동작 과정을 도시한 흐름도이다.
설명의 편의 상, 도 1에 도시된 시스템(100)의 구성을 참조하여 설명하도록 하며, 가상의 입력 수단으로는 키 패드를 사용한다고 가정하도록 한다.
먼저, 화상 카메라(110)는 촬영 가능한 범위(시야)내에 위치한 사용자의 손 영역을 포함한 신체 일부를 촬영한다(S401).
여기에서 신체 일부는 사용자의 상반신일 수 있으며, 사용자는 도 2에 도시된 것처럼, 가상 입력 시스템(100)을 사용하기 위한 소정의 포즈를 취할 수도 있다.
단계 S401 후, 영상 입력부(120)는 화상 카메라(110)에서 촬영한 영상을 입력 받는다(S402).
단계 S402 후, 가상 입력 수단 제공부(130)는 영상 입력부(120)에 입력된 영상에 가상의 입력 수단인 키 패드를 투영하여 가상 입력 시스템(100)의 화면에 디스플레이한다(S403).
이때, 화면에 디스플레이되는 가상의 키 패드는, 화면에 기 디스플레이된 또는 앞으로 화면에 디스플레이될 다른 아이템과 겹쳐져서 디스플레이될 수 있으므 로, 사용자의 시야를 방해하지 않도록 투명도가 조절될 수도 있다.
단계 S403 후, 손 영역 검출 및 추적부(140)는 단계 S402에서 입력된 영상으로부터 손 영역을 검출하고 검출한 영역을 추적한다(S404).
이를 위해, 손 영역 검출 및 추적부(140)는 미리 학습된 피부색을 통해 입력된 영상에서 피부색 영역을 찾은 후, 피부색 영역 중 손 영역의 확률이 가장 높은 부분을 손 영역으로 추정하여 검출한다. 또한, 손 영역 검출 및 추적부(140)는 검출된 손 영역의 움직임을 입자 필터(Particle Filter) 등과 같은 추적기를 이용하여 실시간으로 추적할 수 있다.
단계 S404 후, 3차원 손 모델 생성부(150)는 단계 S404에서 검출된 손 영역을 이용하여 3차원 손 모델을 생성하고, 이후, 손 영역 검출 및 추적부(140)에서 추적하는 손 영역의 움직임을, 생성된 3차원 손 모델에 실시간으로 반영한다(S405).
이를 위해, 3차원 손 모델 생성부(150)는 단계 S404에서 검출된 손 영역으로부터 대략적으로 손바닥과 손가락을 추정한 후, 신뢰 전파(Belief Propagation)을 이용하여 손 모델에 대한 제약 조건을 따라서 3차원 손 모델을 재구성 및 갱신함으로써 3차원 손 모델을 생성할 수 있다.
단계 S405 후, 손가락 움직임 인식부(160)는 3차원 손 모델 생성부(150)에서 생성된 3차원 손 모델의 손가락 움직임에 따른 가상의 키 패드에 대한 입력을 인식한다(S406).
이때, 손가락 움직임 인식부(160)는 3차원 손 모델의 손끝, 손바닥 등의 위 치를 추정하고, 상대적인 손가락의 길이 변화를 추출하여 키의 눌려짐 여부를 인식한다.
참고로, 3차원 손 모델의 손가락 움직임에 따라, 가상의 키 패드의 키 중 어느 하나가 눌려짐을 인식하는 과정에서, 사용자의 손가락(3차원 손 모델의 손가락) 중 어느 하나의 손가락이 움직일 때 다른 손가락도 함께 움직일 수 있으므로, 이러한 간섭을 상쇄하기 위해 마르코프 모델(Hidden Markov Model, HMM), 동적 베이시안 네트워크(Dynamic Bayesian Network, DBN)등의 확률 모델을 이용하여 복잡한 움직임을 해결할 수 있다.
단계 S406 후, 기능 실행부(170)는 단계 S406에서 인식한 가상의 키 패드에 대한 입력에 대응하는 기능을 수행한다(S407).
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되 는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
도 1은 본 발명의 일 실시예에 따른 3차원 손 모델 생성 기술을 이용한 가상 입력 시스템의 구성을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 촬영된 영상에 가상의 입력 수단을 화면에 투영한 것을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 3차원 손 모델 생성부에 의해 생성된 3차원 손 모델을 도시한 도면이다.
도 4a 및 4b는 본 발명의 일 실시예에 따른 3차원 손 모델 생성 기술을 이용한 가상 입력 장치의 동작 과정을 도시한 흐름도이다.
< 도면의 주요 부분에 관한 부호의 설명 >
110 : 화상 카메라
120 : 영상 입력부
130 : 가상 입력 수단 제공부
140 : 손 영역 검출 및 추적부
150 : 3차원 손 모델 생성부
160 : 손가락 움직임 인식부
170 : 기능 실행부

Claims (12)

  1. 3차원 손 모델 생성 기술을 이용한 가상 입력 장치에 있어서,
    사용자의 손 영역을 포함한 신체 일부가 촬영된 영상에 가상의 입력 수단을 투영하는 가상 입력 수단 제공부,
    상기 촬영된 영상으로부터 상기 사용자의 손 영역을 검출하고, 상기 검출된 손 영역의 움직임을 실시간으로 추적하는 손 영역 검출 및 추적부,
    상기 실시간으로 추적되는 손 영역에 기초하여 3차원 손 모델을 생성하는 3차원 손 모델 생성부,
    상기 3차원 손 모델의 손가락 위치 및 상기 3차원 손 모델의 손가락 길이 변화 중 하나 이상을 기초로 상기 가상의 입력 수단에 대한 입력을 인식하는 손가락 움직임 인식부 및
    상기 인식된 입력에 대응하는 기능을 실행하는 기능 실행부
    를 포함하는 가상 입력 장치.
  2. 제 1 항에 있어서,
    상기 손 영역 검출 및 추적부는 미리 학습된 피부색의 분포를 이용하여 피부색의 영역을 추출하고, 상기 추출된 피부색의 영역으로부터 상기 손 영역을 검출하는, 가상 입력 장치.
  3. 제 1 항에 있어서,
    상기 손 영역 검출 및 추적부는 입자 필터(Particle Filter) 추적기를 이용하여 상기 검출된 손 영역의 움직임을 실시간으로 추적하는 것인, 가상 입력 장치
  4. 제 1 항에 있어서,
    상기 3차원 손 모델 생성부는 상기 실시간으로 추적되는 손 영역으로부터 손바닥과 손가락을 추정한 후 신뢰 전파(Belief Propagation)를 이용하여 3차원 손 모델을 생성하는, 가상 입력 장치
  5. 삭제
  6. 제 1 항에 있어서,
    상기 손가락 움직임 인식부는 히든 마르코프 모델(Hidden Markov Model;HMM) 확률 모델 또는 동적 베이시안 네트워크(Dynamic Bayesian Network;DBN) 확률 모델을 이용하여 상기 3차원 손 모델의 손가락 움직임을 인식하는, 가상 입력 장치.
  7. 제 1 항에 있어서,
    상기 가상의 입력 수단은 투명도 조절이 가능하도록 상기 가상 입력 장치의 화면에 디스플레이되는, 가상 입력 장치.
  8. 3차원 손 모델 생성 기술을 이용한 가상 입력 장치의 동작 방법에 있어서,
    (a) 사용자의 손 영역을 포함한 신체 일부가 촬영된 영상을 입력 받는 단계,
    (b) 상기 입력된 영상에 가상의 입력 수단을 투영하여 화면에 디스플레이하는 단계,
    (c) 상기 입력된 영상으로부터 미리 학습된 피부색의 분포를 이용하여 피부색의 영역을 추출하고, 상기 추출된 피부색의 영역으로부터 상기 손 영역을 검출하는 단계,
    (d) 상기 검출된 손 영역의 움직임을 실시간으로 추적하여, 추적된 손 영역으로부터 손바닥과 손가락을 추정한 후 3차원 손 모델을 생성하는 단계,
    (e) 상기 3차원 손 모델의 손가락 위치 및 상기 3차원 손 모델의 손가락 길이 변화 중 하나 이상을 기초로 상기 가상의 입력 수단에 대한 입력을 인식하는 단계 및
    (f) 상기 인식된 입력에 대응하는 기능을 실행하는 단계
    를 포함하되, 상기 가상의 입력 수단은 투명도 조절이 가능하도록 상기 가상 입력 장치의 화면에 디스플레이되는, 가상 입력 방법.
  9. 제 8 항에 있어서,
    상기 (d) 단계는 입자 필터(Particle Filter) 추적기를 이용하여 상기 검출된 손 영역의 움직임을 실시간으로 추적하는, 가상 입력 방법.
  10. 제 8 항에 있어서,
    상기 (d) 단계는 신뢰 전파(Belief Propagation)를 이용하여 3차원 손 모델을 생성하는, 가상 입력 방법.
  11. 제 8 항에 있어서,
    상기 (e) 단계는 히든 마르코프 모델(Hidden Markov Model;HMM) 확률 모델 또는 동적 베이시안 네트워크(Dynamic Bayesian Network;DBN) 확률 모델을 이용하여 상기 3차원 손 모델의 손가락 움직임을 인식하는, 가상 입력 방법.
  12. 삭제
KR1020080100656A 2008-10-14 2008-10-14 3차원 손 모델 생성 기술을 이용한 가상 입력 방법 및 장치 KR100967356B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080100656A KR100967356B1 (ko) 2008-10-14 2008-10-14 3차원 손 모델 생성 기술을 이용한 가상 입력 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080100656A KR100967356B1 (ko) 2008-10-14 2008-10-14 3차원 손 모델 생성 기술을 이용한 가상 입력 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20100041464A KR20100041464A (ko) 2010-04-22
KR100967356B1 true KR100967356B1 (ko) 2010-07-05

Family

ID=42217194

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080100656A KR100967356B1 (ko) 2008-10-14 2008-10-14 3차원 손 모델 생성 기술을 이용한 가상 입력 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100967356B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101519589B1 (ko) 2013-10-16 2015-05-12 (주)컴버스테크 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치 및 방법
US10163001B2 (en) 2015-07-14 2018-12-25 Korea Institute Of Science And Technology Method and system for controlling virtual model formed in virtual space

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101401656B1 (ko) * 2012-12-27 2014-06-02 전자부품연구원 동작인식 기반의 가상훈련 시스템 및 그 제어방법
KR101596600B1 (ko) * 2014-11-28 2016-02-23 계명대학교 산학협력단 사용자 패턴 기반의 동작 인식 보정 장치 및 그 방법
US9720513B2 (en) 2015-03-18 2017-08-01 Korea Electronics Technology Institute Apparatus and method for receiving a key input
KR102228639B1 (ko) * 2019-08-09 2021-03-16 한국과학기술원 손동작 추적 장치 및 그 방법
EP4325345A1 (en) 2021-09-06 2024-02-21 Samsung Electronics Co., Ltd. Electronic device for acquiring user input through virtual keyboard and operating method thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990047902A (ko) * 1997-12-06 1999-07-05 정선종 손 영역 자동 추출 시스템 및 방법
KR20020079847A (ko) * 2000-02-11 2002-10-19 카네스타, 인코포레이티드 가상 입력 장치를 사용하여 데이터를 입력하는 방법 및 장치
KR20070009207A (ko) * 2005-07-15 2007-01-18 엘지전자 주식회사 가상 키보드 입력 장치를 갖는 이동통신 단말기 및 이를이용한 입력 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990047902A (ko) * 1997-12-06 1999-07-05 정선종 손 영역 자동 추출 시스템 및 방법
KR20020079847A (ko) * 2000-02-11 2002-10-19 카네스타, 인코포레이티드 가상 입력 장치를 사용하여 데이터를 입력하는 방법 및 장치
KR20070009207A (ko) * 2005-07-15 2007-01-18 엘지전자 주식회사 가상 키보드 입력 장치를 갖는 이동통신 단말기 및 이를이용한 입력 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101519589B1 (ko) 2013-10-16 2015-05-12 (주)컴버스테크 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치 및 방법
US10163001B2 (en) 2015-07-14 2018-12-25 Korea Institute Of Science And Technology Method and system for controlling virtual model formed in virtual space

Also Published As

Publication number Publication date
KR20100041464A (ko) 2010-04-22

Similar Documents

Publication Publication Date Title
KR100967356B1 (ko) 3차원 손 모델 생성 기술을 이용한 가상 입력 방법 및 장치
US20210256182A1 (en) Predictive Information for Free Space Gesture Control and Communication
US8648828B2 (en) System and method for inputing user commands to a processor
US9952676B2 (en) Wearable device with gesture recognition mechanism
US9063573B2 (en) Method and system for touch-free control of devices
RU2708027C1 (ru) Способ передачи движения субъекта из видео на анимированного персонажа
US20090327871A1 (en) I/o for constrained devices
CN112506340B (zh) 设备控制方法、装置、电子设备及存储介质
JP2016118929A (ja) 入力支援方法、入力支援プログラムおよび入力支援装置
US20230244379A1 (en) Key function execution method and apparatus, device, and storage medium
CN103353826A (zh) 一种显示设备及其信息处理方法
KR102079985B1 (ko) 터치 입력 프로세싱 방법 및 디바이스
Conci et al. Natural human-machine interface using an interactive virtual blackboard
CN113676586B (zh) 触摸屏的显示方法及终端
CN112565605B (zh) 图像显示方法、装置和电子设备
US9921689B2 (en) Information processing method, information processing apparatus, and storage medium
CN114639158A (zh) 计算机交互方法、设备和程序产品
CN107678818B (zh) 一种用户界面控制方法及移动终端
JP6481360B2 (ja) 入力方法、入力プログラムおよび入力装置
Horiuchi et al. Short range fingertip pointing operation interface by depth camera
Dudley Probabilistic User Interface Design for Virtual and Augmented Reality Applications
CN116246345A (zh) 基于动态手势识别的演示控制方法及装置
Dadgar Survey: Hidden Markov Model Based Approaches for Hand Gesture Recognition
Carcangiu Combining declarative models and computer vision recognition algorithms for stroke gestures
CN118131899A (zh) 人机闭环交互方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130405

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140304

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170328

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190411

Year of fee payment: 10