KR20100041464A - Virtual input method and apparatus for using 3d hand model generation - Google Patents
Virtual input method and apparatus for using 3d hand model generation Download PDFInfo
- Publication number
- KR20100041464A KR20100041464A KR1020080100656A KR20080100656A KR20100041464A KR 20100041464 A KR20100041464 A KR 20100041464A KR 1020080100656 A KR1020080100656 A KR 1020080100656A KR 20080100656 A KR20080100656 A KR 20080100656A KR 20100041464 A KR20100041464 A KR 20100041464A
- Authority
- KR
- South Korea
- Prior art keywords
- hand
- virtual input
- model
- finger
- dimensional
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 가상 입력 방법 및 장치에 관한 것으로서, 보다 상세하게는, 3차원 손 모델 생성 기술을 이용한 가상 입력 방법 및 장치에 관한 것이다.The present invention relates to a virtual input method and apparatus, and more particularly, to a virtual input method and apparatus using a three-dimensional hand model generation technology.
컴퓨터 혹은 이동 단말 장치를 제어하기 위한 고전적이고 일반적인 방법은 키 패드 또는 키보드와 같은 인터페이스를 이용해 문자 혹은 숫자를 입력하는 것이다. 예를 들면, 이동 통신 단말기에서 키 패드를 사용하여 문자나 전화번호를 입력하고 키보드를 이용하여 여러 가지 응용 프로그램들을 제어하는 것은 현재 우리 생활에 있어서 자연스러운 것이 되었다. The classic and common way to control a computer or mobile terminal device is to enter letters or numbers using an interface such as a keypad or keyboard. For example, it is now natural in our lives to use a keypad to enter letters or phone numbers and to control various applications using the keyboard.
이러한 키보드나 키 패드와 같은 입력장치는 여러 개의 키로 구성되어있기 때문에 다른 인터페이스와 비교하여 상대적으로 많은 공간을 차지한다는 불편함을 가지고 있다. 컴퓨터의 경우, 키보드는 여러 가지 명령어를 수행하고 작업을 하는데 있어서 유용한 장치이지만 가장 크기가 큰 입력 장치이기 때문에 불편함을 초래하게 된다. 또한, PDA, 핸드폰 등과 같은 이동 단말 장치의 경우 크기가 점점 작아지는 추세에 있기 때문에 기존의 키 패드 인터페이스는 단말기의 소형화에 적합하 지 않다. Since an input device such as a keyboard or a keypad is composed of a plurality of keys, it is inconvenient to occupy a relatively large space compared to other interfaces. In the case of a computer, the keyboard is a useful device for performing various commands and tasks, but it is inconvenient because it is the largest input device. In addition, in the case of a mobile terminal device such as a PDA, a mobile phone, etc., the size of the mobile terminal device is gradually decreasing, so that the existing keypad interface is not suitable for miniaturization of the terminal.
이러한 기존의 불편한 인터페이스의 대안으로 터치 스크린, 가상 키보드, 펜, 휠 등과 같은 새로운 인터페이스들이 제안되었으나 부가장치가 필요하거나 제한된 환경에만 사용이 가능하다는 단점을 지닌다. As an alternative to such an inconvenient interface, new interfaces such as a touch screen, a virtual keyboard, a pen, a wheel, etc. have been proposed, but have a disadvantage in that they can be used only in limited environments.
이에, 한국공개특허 제 2007-0068555호(가상 키패드를 구비한 휴대용 단말기 및 문자 입력 방법, 이하 종래 기술 1이라 칭함)에서, 가상 키 패드를 구비한 휴대용 단말기를 이용하여 문자를 입력하는 기술에 대해 개시하고 있으나, 종래 기술 1은 특수한 환경에서 제한된 손 형태를 가지고, 각 손가락이 독립적으로 움직여야 하며, 이를 위해 별도의 학습이 필요하고 자연스럽지 못한 움직임으로 동작하게 되는 문제가 있었다. Accordingly, Korean Patent Publication No. 2007-0068555 (Portable Terminal with Virtual Keypad and Character Input Method, hereinafter referred to as Prior Art 1) describes a technique for inputting a character using a portable terminal having a virtual keypad. Although it discloses, the
또한, 미국등록특허 제 5996894호(광각 스캔 장치를 이용한 가상 키 패드, 이하 종래 기술 2라 칭함)에서는, 광각 스캔 장치를 사용하여 사용자가 특정 영역을 터치하면, 특정 영역에 대한 기능이 수행되는 가상 키 패드를 제공하는 기술에 대해 개시하고 있으나, 종래 기술 2는 광각 스캔 장치라는 부가적인 장치가 필요하고, 사용하는 어플리케이션에 따라 각기 다른 광각 스캔 장치를 정의하고 구성해야 하는 불편함이 있었다.In addition, US Patent No. 5996894 (virtual keypad using a wide-angle scanning device, hereinafter referred to as the prior art 2), when a user touches a specific area using a wide-angle scanning device, a virtual function that performs a function for a specific area Although a technique of providing a keypad is disclosed, the
상술한 종래 기술의 문제점을 해결하기 위해, 본 발명은 사용자 손의 위치 및 움직임을 실시간으로 검출하고 추적하여 사용자의 손에 대응하는 3차원 손 모델을 생성하여 제공하는 것이다.In order to solve the above problems of the prior art, the present invention is to generate and provide a three-dimensional hand model corresponding to the user's hand by detecting and tracking the position and movement of the user's hand in real time.
또한, 본 발명은 다양한 환경에서도 사용자 손(더 상세히는 손가락)의 복잡한 움직임을 인식하고, 인식된 움직임에 대응하는 기능을 실행하는 가상 입력 시스템을 제공하는 것이다.In addition, the present invention provides a virtual input system that recognizes a complex movement of a user's hand (more specifically, a finger) and executes a function corresponding to the recognized movement even under various circumstances.
상기 목적을 달성하기 위하여, 본 발명의 일 측면에 따른 3차원 손 모델 생성 기술을 이용한 가상 입력 장치는 사용자의 손 영역을 포함한 신체 일부가 촬영된 영상에 가상의 입력 수단을 투영하는 가상 입력 수단 제공부, 상기 촬영된 영상으로부터 상기 사용자의 손 영역을 검출하고, 상기 검출된 손 영역의 움직임을 실시간으로 추적하는 손 영역 검출 및 추적부, 상기 실시간으로 추적되는 손 영역에 기초하여 3차원 손 모델을 생성하는 3차원 손 모델 생성부, 상기 3차원 손 모델의 손가락 움직임에 따른 상기 가상의 입력 수단에 대한 입력을 인식하는 손가락 움직임 인식부 및 상기 인식된 입력에 대응하는 기능을 실행하는 기능 실행부를 포함한다.In order to achieve the above object, the virtual input device using the three-dimensional hand model generation technology according to an aspect of the present invention comprises a virtual input means for projecting a virtual input means on the image of the body part including the user's hand area A hand region detection and tracking unit for detecting a hand region of the user from the photographed image and tracking the movement of the detected hand region in real time, and a 3D hand model based on the hand region tracked in real time. A three-dimensional hand model generating unit for generating, a finger movement recognizing unit for recognizing an input to the virtual input means according to a finger movement of the three-dimensional hand model, and a function execution unit for executing a function corresponding to the recognized input do.
상기 목적을 달성하기 위하여, 본 발명의 다른 측면에 따른 3차원 손 모델 생성 기술을 이용한 가상 입력 방법은 (a) 사용자의 손 영역을 포함한 신체 일부가 촬영된 영상을 입력 받는 단계, (b) 상기 입력된 영상에 가상의 입력 수단을 투영하여 화면에 디스플레이하는 단계, (c) 상기 입력된 영상으로부터 미리 학습된 피부색의 분포를 이용하여 피부색의 영역을 추출하고, 상기 추출된 피부색의 영역으로부터 상기 손 영역을 검출하는 단계, (d) 상기 검출된 손 영역의 움직임을 실시간으로 추적하여, 추적된 손 영역으로부터 손바닥과 손가락을 추정한 후 3차원 손 모델을 생성하는 단계, (e) 상기 3차원 손 모델의 손가락 위치 및 상기 3차원 손 모델의 손가락 길이 변화 중 하나 이상을 기초로 상기 가상의 입력 수단에 대한 입력을 인식하는 단계 및 (f) 상기 인식된 입력에 대응하는 기능을 실행하는 단계를 포함한다.In order to achieve the above object, a virtual input method using a three-dimensional hand model generation technology according to another aspect of the present invention comprises the steps of (a) receiving an image of a body part including the user's hand area, (b) the Projecting a virtual input means onto an input image and displaying the same on a screen; (c) extracting a skin color region using a distribution of skin colors learned in advance from the input image, and extracting the hand from the extracted skin color region. Detecting an area, (d) tracking the movement of the detected hand area in real time, estimating a palm and a finger from the tracked hand area, and generating a three-dimensional hand model, (e) the three-dimensional hand Recognizing an input to the virtual input means based on at least one of finger position of the model and finger length change of the three-dimensional hand model; and (f) the Executing a function corresponding to the recognized input.
상기 목적을 달성하기 위한 구체적인 사항들은 첨부된 도면과 함께 상세하게 후술된 실시예들을 참조하면 명확해질 것이다.Specific details for achieving the above object will be apparent with reference to the embodiments described below in detail with the accompanying drawings.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라, 서로 다른 다양한 형태로 구성될 수 있으며, 본 실시예들은 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다.However, the present invention is not limited to the embodiments disclosed below, but may be configured in different forms, and the present embodiments are intended to complete the disclosure of the present invention and to provide general knowledge in the technical field to which the present invention belongs. It is provided to fully inform those who have the scope of the invention.
전술한 본 발명의 3차원 손 모델 생성 기술을 이용한 가상 입력 방법 및 장치의 과제 해결 수단 중 하나에 의하면, 많은 공간을 차지했던 물리적 인터페이스(입력 장치)를 대체하는 효과를 기대할 수 있다.According to one of the problem solving means of the virtual input method and apparatus using the three-dimensional hand model generation technology of the present invention described above, it is possible to expect the effect of replacing the physical interface (input device) that occupy a large amount of space.
또한, 사용자는 가상 입력 시스템을 사용하기 위한 별도의 학습이 필요 없 고, 자연스러운 움직으로 원하는 기능을 실행할 수 있는 효과를 기대할 수 있다.In addition, the user does not need to learn additionally to use the virtual input system, and can expect the effect of executing a desired function with natural movement.
또한, 화상 카메라 이외에 별도의 부가 장치가 필요 없어 하드웨어 유지 비용 감소 효과를 기대할 수 있다.In addition, since an additional device other than the image camera is not required, a hardware maintenance cost reduction effect can be expected.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명하도록 한다. DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention.
그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention.
그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and like reference numerals designate like parts throughout the specification.
참고로, 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. For reference, in the entire specification, when a part is "connected" to another part, it is not only "directly connected" but also "electrically connected" with another element in between. Also includes.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.In addition, when a part is said to "include" a certain component, which means that it may further include other components, except to exclude other components unless otherwise stated.
이하, 첨부된 구성도 또는 처리 흐름도를 참고하여, 본 발명의 실시를 위한 구체적인 내용을 설명하도록 한다.Hereinafter, with reference to the accompanying configuration diagram or processing flow chart, it will be described in detail for the practice of the present invention.
도 1은 본 발명의 일 실시예에 따른 3차원 손 모델 생성 기술을 이용한 가상 입력 시스템의 구성을 도시한 블록도이다.1 is a block diagram showing the configuration of a virtual input system using a three-dimensional hand model generation technique according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 3차원 손 모델 생성 기술을 이용한 가상 입력 시스템(100)은 화상 카메라(110), 영상 입력부(120), 가상 입력 수단 제공부(130), 손 영역 검출 및 추적부(140), 3차원 손 모델 생성부(150), 손가락 움직임 인식부(160) 및 기능 실행부(170)를 포함한다.The
참고로, 본 발명의 일 실시예에 따른 도 1에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 구성 요소를 의미하며, 소정의 역할들을 수행한다. For reference, the components illustrated in FIG. 1 according to an embodiment of the present invention mean software components or hardware components such as a field programmable gate array (FPGA) or an application specific integrated circuit (ASIC), and perform predetermined roles. do.
그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. However, 'components' are not meant to be limited to software or hardware, and each component may be configured to be in an addressable storage medium or may be configured to reproduce one or more processors.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. Thus, as an example, a component may include components such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, procedures, and subs. Routines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, and variables.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.Components and the functionality provided within those components may be combined into a smaller number of components or further separated into additional components.
이하, 도 1에 도시된 가상 입력 시스템(100)의 구성 요소를 더 상세히 설명하도록 한다.Hereinafter, the components of the
참고로, 도 1에 도시된 가상 입력 시스템(100)은 화상 카메라(110)를 구비한 데스크 탑 컴퓨터, 노트북 컴퓨터, 랩톱(laptop) 컴퓨터 및 개인 휴대용 단말기를 포함하며, 휴대용 단말기는 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말기 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함한다.For reference, the
따라서, 본 발명의 가상 입력 시스템(100)은 고정된 장소 뿐만 아니라 장소에 상관 없이 이동하는 중에도 사용할 수 있다.Therefore, the
먼저, 화상 카메라(110)는 촬영 가능한 범위(시야)내에 위치한 사용자의 손 영역을 포함한 신체 일부를 촬영하며 하나 이상의 화상 카메라(110)가 존재할 수 있다. 여기에서 신체 일부는 사용자의 상반신일 수 있는데, 화상 카메라(110)의 촬영 가능한 범위 내에 다양한 물체가 존재하는 경우, 화상 카메라(110)에서 촬영한 영상에는 사용자의 손 뿐만 아니라 다양한 물체도 함께 촬영되므로, 후술하는 손 영역 검출 및 추적부(140)에서 사용자의 손을 좀 더 용이하게 검출하도록 하기 위해 사용자의 손 영역을 포함한 신체 일부를 촬영한다First, the
이를 위해, 사용자는 도 2에 도시된 것처럼, 도 1에 도시된 가상 입력 시스템(100)을 사용하기 위한 소정의 포즈를 취할 수도 있다.To this end, the user may take a certain pose for using the
한편, 영상 입력부(120)는 화상 카메라(110)에서 촬영한 영상을 입력 받고, 가상 입력 수단 제공부(130)는 영상 입력부(120)에 입력된 영상에 가상의 입력 수단을 투영하여 가상 입력 시스템(100)의 화면에 디스플레이한다.On the other hand, the
여기에서 가상의 입력 수단은, 예를 들어, 화면에 디스플레이되는 가상의 키보드, 키 패드, 메뉴, 리스트, 아이콘 및 스크롤 등과 같은 다양한 입력 수단을 포함하며, 상술한 가상의 입력 수단은 화면에 기 디스플레이된 또는 앞으로 화면에 디스플레이될 다른 아이템과 겹쳐져서 디스플레이되는 경우, 사용자의 시야를 방해하지 않도록 투명도가 조절될 수도 있다.Herein, the virtual input means may include various input means such as, for example, a virtual keyboard, a keypad, a menu, a list, an icon, and a scroll displayed on the screen, and the above-described virtual input means may be displayed on the screen. When displayed overlapping with other items to be displayed on the screen, the transparency may be adjusted so as not to disturb the user's view.
도 2는 본 발명의 일 실시예에 따른 촬영된 영상에 가상의 입력 수단을 화면에 투영한 것을 도시한 도면이다.2 is a diagram illustrating a projection of a virtual input means on a screen in a captured image according to an embodiment of the present invention.
도 2에서는 가상의 입력 수단으로 키 패드(210)를 사용하였다. 사용자는 도 1에 도시된 가상 입력 시스템(100)을 사용하기 위한 소정의 포즈를 취하고 있으며, 화면에 디스플레이되는 키 패드(210)의 위치는 화면의 중앙을 비롯한 다양한 위치에 설정될 수 있다.In FIG. 2, the
한편, 손 영역 검출 및 추적부(140)는 영상 입력부(120)에서 입력된 영상으로부터 손 영역을 검출하고 검출한 손 영역을 추적한다. 이를 위해, 손 영역 검출 및 추적부(140)는 미리 학습된 피부색을 통해 입력된 영상에서 피부색 영역을 찾은 후, 피부색 영역 중 손 영역의 확률이 가장 높은 부분을 손 영역으로 추정하여 검 출한다. 또한, 손 영역 검출 및 추적부(140)는 검출된 손 영역의 움직임을 입자 필터(Particle Filter) 등과 같은 추적기를 이용하여 실시간으로 추적할 수 있다.Meanwhile, the hand region detection and
참고로, 입자 필터는 복잡한 환경 속을 움직이는 물체를 추적하는데 효과적인 물체 추적 접근 방법으로서, 사전 분포(prior distributions) 및 사후 분포(posterior distributions)와 같은 베이지안 조건 확률(Bayesian conditional probabilities)에 기반을 두고 있으며, 입자 필터 알고리즘은 샘플링(sampling), 예측(predicting) 및 측정(measuring)의 3 단계로 구성된다.For reference, particle filters are an effective object tracking approach for tracking moving objects in complex environments and are based on Bayesian conditional probabilities such as prior distributions and posterior distributions. The particle filter algorithm consists of three stages: sampling, predicting and measuring.
한편, 3차원 손 모델 생성부(150)는 손 영역 검출 및 추적부(140)에서 검출된 손 영역을 이용하여 3차원 손 모델을 생성하고, 이후, 손 영역 검출 및 추적부(140)에서 추적하는 손 영역의 움직임을, 생성된 3차원 손 모델에 실시간으로 반영한다. 이를 위해, 3차원 손 모델 생성부(150)는 손 영역 검출 및 추적부(230)에서 검출된 손 영역으로부터 대략적으로 손바닥과 손가락을 추정한 후, 신뢰 전파(Belief Propagation)를 이용하여 손 모델에 대한 제약 조건을 따라서 3차원 손 모델을 재구성 및 갱신함으로써 3차원 손 모델을 생성할 수 있다.Meanwhile, the 3D
한편, 손가락 움직임 인식부(160)는 3차원 손 모델 생성부(150)에서 생성된 3차원 손 모델의 손가락 움직임에 따른 가상의 입력 수단에 대한 입력을 인식한다. 즉, 가상의 입력 수단이 키 패드인 경우, 3차원 손 모델의 손가락 움직임에 따라 키 패드의 키 중 어느 하나가 눌려짐을 인식하는 것이다.Meanwhile, the finger
이 과정에서, 사용자의 손가락(3차원 손 모델의 손가락) 중 어느 하나의 손가락이 움직일 때 다른 손가락도 함께 움직일 수 있으므로, 이러한 간섭을 상쇄하 기 위해 히든 마르코프 모델(Hidden Markov Model, HMM), 동적 베이시안 네트워크(Dynamic Bayesian Network, DBN)등의 확률 모델을 이용하여 복잡한 움직임을 해결할 수 있다.In this process, when one of the user's fingers (the fingers of the three-dimensional hand model) moves, the other finger can also move together, so that the Hidden Markov Model (HMM), dynamic Probabilistic models such as Dynamic Bayesian Network (DBN) can be used to solve complex movements.
참고로, 히든 마르코프 모델은 확률을 기반으로 하는 방법으로서, 시공간으로 변하는 데이터를 효과적으로 표현할 수 있는 모델이다. 이 확률 모델은 상태 전이 확률과 출력 확률로 기술되는데, 각 확률은 Baum-Welch 알고리즘으로 학습되고 Viterbi 알고리즘을 통해 입력된 데이터를 분류한다.For reference, the Hidden Markov model is a probability-based method that effectively represents data that changes in space and time. This probability model is described as state transition probability and output probability. Each probability is trained with Baum-Welch algorithm and classifies the data input through Viterbi algorithm.
또한 동적 베이시안 네트워크는 시스템의 상태(state)를 확률 분포로 나타내는 통계학적 모델링 기법으로서, 결정론적(deterministic) 모델링 기법에서 표현하지 못하는 가능성(feasibility) 정도를 나타내는 특징이 있다. 동적 베이시안 네트워크는 패턴 인식, 시계열 예측 시스템 등과 같은 다양한 공학적 및 과학적 문제를 다루는데 사용하고 있으며, 특히 불확실성 요소를 확률적 기법을 통하여 추정하는데 적용되고 있다.In addition, the dynamic Bayesian network is a statistical modeling method that represents the state of a system as a probability distribution, and has a characteristic of indicating the degree of feasibility that cannot be expressed in a deterministic modeling method. Dynamic Bayesian networks are used to deal with various engineering and scientific problems, such as pattern recognition and time series prediction systems, and in particular, to estimate the uncertainty factor through stochastic techniques.
한편, 기능 실행부(170)는 손가락 움직임 인식부(160)에서 인식한 가상의 입력 수단에 대한 입력에 대응하는 기능을 수행한다. 예를 들어, 가상의 입력 수단이 키 패드이고, 3차원 손 모델 손가락의 움직임이 인식된 위치가 키 패드의 ‘3’키와 대응된다면 기능 실행부(170)는 물리적 키 패드 장치(미도시)의 ‘3’키가 눌러졌을 때와 같은 기능을 수행한다.On the other hand, the
도 3은 본 발명의 일 실시예에 따른 3차원 손 모델 생성부(150)에 의해 생성된 3차원 손 모델을 도시한 도면이다. 3 is a view showing a three-dimensional hand model generated by the three-dimensional hand
화상 카메라를 통해 촬영된 사용자의 손 영역(310)은, 손 영역 검출 및 추적부(140)를 통해 검출되고, 검출된 손 영역(310)은 대략적으로 손바닥(321)과 손가락(322)으로 나뉘며 신뢰 전파(Belief Propagation)를 통하여 가장 확률이 높은 3차원 손 모델(320)이 생성된다.The
도 4a 및 4b는 본 발명의 일 실시예에 따른 3차원 손 모델 생성 기술을 이용한 가상 입력 장치의 동작 과정을 도시한 흐름도이다.4A and 4B are flowcharts illustrating an operation process of a virtual input device using a 3D hand model generation technique according to an embodiment of the present invention.
설명의 편의 상, 도 1에 도시된 시스템(100)의 구성을 참조하여 설명하도록 하며, 가상의 입력 수단으로는 키 패드를 사용한다고 가정하도록 한다.For convenience of explanation, it will be described with reference to the configuration of the
먼저, 화상 카메라(110)는 촬영 가능한 범위(시야)내에 위치한 사용자의 손 영역을 포함한 신체 일부를 촬영한다(S401).First, the
여기에서 신체 일부는 사용자의 상반신일 수 있으며, 사용자는 도 2에 도시된 것처럼, 가상 입력 시스템(100)을 사용하기 위한 소정의 포즈를 취할 수도 있다.Here, the body part may be the upper body of the user, and the user may take a predetermined pose for using the
단계 S401 후, 영상 입력부(120)는 화상 카메라(110)에서 촬영한 영상을 입력 받는다(S402).After the step S401, the
단계 S402 후, 가상 입력 수단 제공부(130)는 영상 입력부(120)에 입력된 영상에 가상의 입력 수단인 키 패드를 투영하여 가상 입력 시스템(100)의 화면에 디스플레이한다(S403).After operation S402, the virtual input means providing
이때, 화면에 디스플레이되는 가상의 키 패드는, 화면에 기 디스플레이된 또는 앞으로 화면에 디스플레이될 다른 아이템과 겹쳐져서 디스플레이될 수 있으므 로, 사용자의 시야를 방해하지 않도록 투명도가 조절될 수도 있다.In this case, the virtual keypad displayed on the screen may be displayed by being superimposed with other items previously displayed on the screen or to be displayed on the screen, and thus transparency may be adjusted so as not to disturb the user's view.
단계 S403 후, 손 영역 검출 및 추적부(140)는 단계 S402에서 입력된 영상으로부터 손 영역을 검출하고 검출한 영역을 추적한다(S404).After step S403, the hand area detection and
이를 위해, 손 영역 검출 및 추적부(140)는 미리 학습된 피부색을 통해 입력된 영상에서 피부색 영역을 찾은 후, 피부색 영역 중 손 영역의 확률이 가장 높은 부분을 손 영역으로 추정하여 검출한다. 또한, 손 영역 검출 및 추적부(140)는 검출된 손 영역의 움직임을 입자 필터(Particle Filter) 등과 같은 추적기를 이용하여 실시간으로 추적할 수 있다.To this end, the hand region detection and
단계 S404 후, 3차원 손 모델 생성부(150)는 단계 S404에서 검출된 손 영역을 이용하여 3차원 손 모델을 생성하고, 이후, 손 영역 검출 및 추적부(140)에서 추적하는 손 영역의 움직임을, 생성된 3차원 손 모델에 실시간으로 반영한다(S405).After step S404, the three-dimensional hand
이를 위해, 3차원 손 모델 생성부(150)는 단계 S404에서 검출된 손 영역으로부터 대략적으로 손바닥과 손가락을 추정한 후, 신뢰 전파(Belief Propagation)을 이용하여 손 모델에 대한 제약 조건을 따라서 3차원 손 모델을 재구성 및 갱신함으로써 3차원 손 모델을 생성할 수 있다.To this end, the three-dimensional hand
단계 S405 후, 손가락 움직임 인식부(160)는 3차원 손 모델 생성부(150)에서 생성된 3차원 손 모델의 손가락 움직임에 따른 가상의 키 패드에 대한 입력을 인식한다(S406).After operation S405, the finger
이때, 손가락 움직임 인식부(160)는 3차원 손 모델의 손끝, 손바닥 등의 위 치를 추정하고, 상대적인 손가락의 길이 변화를 추출하여 키의 눌려짐 여부를 인식한다.At this time, the finger
참고로, 3차원 손 모델의 손가락 움직임에 따라, 가상의 키 패드의 키 중 어느 하나가 눌려짐을 인식하는 과정에서, 사용자의 손가락(3차원 손 모델의 손가락) 중 어느 하나의 손가락이 움직일 때 다른 손가락도 함께 움직일 수 있으므로, 이러한 간섭을 상쇄하기 위해 마르코프 모델(Hidden Markov Model, HMM), 동적 베이시안 네트워크(Dynamic Bayesian Network, DBN)등의 확률 모델을 이용하여 복잡한 움직임을 해결할 수 있다.For reference, when one of the fingers of the user's finger (the finger of the 3D hand model) moves in the process of recognizing that one of the keys of the virtual keypad is pressed according to the finger movement of the 3D hand model, the other Fingers can also move together, and complex motions can be solved using probabilistic models such as the Hidden Markov Model (HMM) and the Dynamic Bayesian Network (DBN) to counteract this interference.
단계 S406 후, 기능 실행부(170)는 단계 S406에서 인식한 가상의 키 패드에 대한 입력에 대응하는 기능을 수행한다(S407).After step S406, the
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다.The foregoing description of the present invention is intended for illustration, and it will be understood by those skilled in the art that the present invention may be easily modified in other specific forms without changing the technical spirit or essential features of the present invention. will be.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.
예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as distributed may be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되 는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is shown by the following claims rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalents are included in the scope of the present invention. Should be.
도 1은 본 발명의 일 실시예에 따른 3차원 손 모델 생성 기술을 이용한 가상 입력 시스템의 구성을 도시한 블록도이다. 1 is a block diagram showing the configuration of a virtual input system using a three-dimensional hand model generation technique according to an embodiment of the present invention.
도 2는 본 발명의 일 실시예에 따른 촬영된 영상에 가상의 입력 수단을 화면에 투영한 것을 도시한 도면이다.2 is a diagram illustrating a projection of a virtual input means on a screen in a captured image according to an embodiment of the present invention.
도 3은 본 발명의 일 실시예에 따른 3차원 손 모델 생성부에 의해 생성된 3차원 손 모델을 도시한 도면이다.3 is a view showing a three-dimensional hand model generated by the three-dimensional hand model generation unit according to an embodiment of the present invention.
도 4a 및 4b는 본 발명의 일 실시예에 따른 3차원 손 모델 생성 기술을 이용한 가상 입력 장치의 동작 과정을 도시한 흐름도이다.4A and 4B are flowcharts illustrating an operation process of a virtual input device using a 3D hand model generation technique according to an embodiment of the present invention.
< 도면의 주요 부분에 관한 부호의 설명 ><Description of the code | symbol about the principal part of drawing>
110 : 화상 카메라110: the image camera
120 : 영상 입력부 120: video input unit
130 : 가상 입력 수단 제공부130: virtual input means providing unit
140 : 손 영역 검출 및 추적부140: hand area detection and tracking unit
150 : 3차원 손 모델 생성부150: 3D hand model generation unit
160 : 손가락 움직임 인식부160: finger motion recognition unit
170 : 기능 실행부170: function execution unit
Claims (12)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080100656A KR100967356B1 (en) | 2008-10-14 | 2008-10-14 | Virtual input method and apparatus for using 3d hand model generation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080100656A KR100967356B1 (en) | 2008-10-14 | 2008-10-14 | Virtual input method and apparatus for using 3d hand model generation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20100041464A true KR20100041464A (en) | 2010-04-22 |
| KR100967356B1 KR100967356B1 (en) | 2010-07-05 |
Family
ID=42217194
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020080100656A KR100967356B1 (en) | 2008-10-14 | 2008-10-14 | Virtual input method and apparatus for using 3d hand model generation |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100967356B1 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101401656B1 (en) * | 2012-12-27 | 2014-06-02 | 전자부품연구원 | Motion recongnition based virtual training system and methods |
| KR101596600B1 (en) * | 2014-11-28 | 2016-02-23 | 계명대학교 산학협력단 | Apparatus for motion recognition and correction based on user pattern and Method thereof |
| US9720513B2 (en) | 2015-03-18 | 2017-08-01 | Korea Electronics Technology Institute | Apparatus and method for receiving a key input |
| KR20210017788A (en) * | 2019-08-09 | 2021-02-17 | 한국과학기술원 | Apparatus and method for tracking hand motion |
| US11941180B2 (en) | 2021-09-06 | 2024-03-26 | Samsung Electronics Co., Ltd | Electronic device for obtaining user input through virtual keyboard and method of operating the same |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101519589B1 (en) | 2013-10-16 | 2015-05-12 | (주)컴버스테크 | Electronic learning apparatus and method for controlling contents by hand avatar |
| KR101639066B1 (en) | 2015-07-14 | 2016-07-13 | 한국과학기술연구원 | Method and system for controlling virtual model formed in virtual space |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100243346B1 (en) * | 1997-12-06 | 2000-02-01 | 정선종 | System and method for automatic hand region extraction |
| US6614422B1 (en) * | 1999-11-04 | 2003-09-02 | Canesta, Inc. | Method and apparatus for entering data using a virtual input device |
| KR20070009207A (en) * | 2005-07-15 | 2007-01-18 | 엘지전자 주식회사 | Apparatus and method for input holographic keyboard in mobile terminal |
-
2008
- 2008-10-14 KR KR1020080100656A patent/KR100967356B1/en active IP Right Grant
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101401656B1 (en) * | 2012-12-27 | 2014-06-02 | 전자부품연구원 | Motion recongnition based virtual training system and methods |
| KR101596600B1 (en) * | 2014-11-28 | 2016-02-23 | 계명대학교 산학협력단 | Apparatus for motion recognition and correction based on user pattern and Method thereof |
| WO2016085122A1 (en) * | 2014-11-28 | 2016-06-02 | 계명대학교 산학협력단 | Gesture recognition correction apparatus based on user pattern, and method therefor |
| US9720513B2 (en) | 2015-03-18 | 2017-08-01 | Korea Electronics Technology Institute | Apparatus and method for receiving a key input |
| KR20210017788A (en) * | 2019-08-09 | 2021-02-17 | 한국과학기술원 | Apparatus and method for tracking hand motion |
| US11941180B2 (en) | 2021-09-06 | 2024-03-26 | Samsung Electronics Co., Ltd | Electronic device for obtaining user input through virtual keyboard and method of operating the same |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100967356B1 (en) | 2010-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100967356B1 (en) | Virtual input method and apparatus for using 3d hand model generation | |
| US20210256182A1 (en) | Predictive Information for Free Space Gesture Control and Communication | |
| US9952676B2 (en) | Wearable device with gesture recognition mechanism | |
| US8648828B2 (en) | System and method for inputing user commands to a processor | |
| US9063573B2 (en) | Method and system for touch-free control of devices | |
| US8897490B2 (en) | Vision-based user interface and related method | |
| CN112506340B (en) | Equipment control method, device, electronic equipment and storage medium | |
| US20090327871A1 (en) | I/o for constrained devices | |
| JP2016118929A (en) | Input support method, input support program and input support apparatus | |
| US20230244379A1 (en) | Key function execution method and apparatus, device, and storage medium | |
| CN112364799A (en) | Gesture recognition method and device | |
| Yin et al. | CamK: Camera-based keystroke detection and localization for small mobile devices | |
| KR102079985B1 (en) | Method And Device For Processing Touch Input | |
| Conci et al. | Natural human-machine interface using an interactive virtual blackboard | |
| CN113676586B (en) | Display method of touch screen and terminal | |
| CN111782041A (en) | Typing method and device, equipment and storage medium | |
| CN112565605B (en) | Image display method and device and electronic equipment | |
| Habib et al. | Real time mono vision gesture based virtual keyboard system | |
| CN114639158A (en) | Computer interaction method, apparatus and program product | |
| CN107678818B (en) | A kind of user interface control method and mobile terminal | |
| KR101589560B1 (en) | Mobile terminal and method for inputting instructions thereto | |
| Dudley | Probabilistic User Interface Design for Virtual and Augmented Reality Applications | |
| Carcangiu | Combining declarative models and computer vision recognition algorithms for stroke gestures | |
| Dadgar | Survey: Hidden Markov Model Based Approaches for Hand Gesture Recognition | |
| Xiong et al. | Digital Media Design for Dynamic Gesture Interaction with Image Processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20130405 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20140304 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20170328 Year of fee payment: 8 |
|
| FPAY | Annual fee payment |
Payment date: 20190411 Year of fee payment: 10 |