KR20150043149A - 손 모양 인식을 이용한 디지털 장치의 제어 방법 및 촬영 방법과, 그 장치 - Google Patents

손 모양 인식을 이용한 디지털 장치의 제어 방법 및 촬영 방법과, 그 장치 Download PDF

Info

Publication number
KR20150043149A
KR20150043149A KR20130122221A KR20130122221A KR20150043149A KR 20150043149 A KR20150043149 A KR 20150043149A KR 20130122221 A KR20130122221 A KR 20130122221A KR 20130122221 A KR20130122221 A KR 20130122221A KR 20150043149 A KR20150043149 A KR 20150043149A
Authority
KR
South Korea
Prior art keywords
shape
hand
user
photographing
recognized
Prior art date
Application number
KR20130122221A
Other languages
English (en)
Inventor
최성도
이성오
정문식
차현희
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR20130122221A priority Critical patent/KR20150043149A/ko
Priority to US14/513,790 priority patent/US20150103205A1/en
Publication of KR20150043149A publication Critical patent/KR20150043149A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

사용자 이미지를 획득하기 위한 이미지 획득부와, 획득된 사용자 이미지로부터 기본 객체와 보조 객체를 구분하여 판별함으로써 손의 모양을 인식하고, 인식된 손의 모양에 대응하는 소정의 기능을 수행하는 제어부를 포함하는 디지털 장치를 개시한다.

Description

손 모양 인식을 이용한 디지털 장치의 제어 방법 및 촬영 방법과, 그 장치 {METHOD FOR CONTROLLING DIGITAL APPARATUS AND PHOTOGRAPHING METHOD BY RECOGNITION OF HAND SHAPE, AND APPARATUS THEREOF}
본 발명은 손 모양의 인식을 이용해 디지털 장치를 제어하는 방법 및 손 모양의 인식을 이용해 디지털 카메라에서 사진을 촬영하는 방법과, 그 장치에 대한 것이다.
카메라를 장착하고 사용자의 제스쳐(gesture)를 기반으로 동작하는 디지털 기기들이 사용되고 있다. 이들 기기는 사용자의 모션(motion)을 기반으로 결정되는 제스쳐에 의해 기기를 제어하는 방식을 사용하므로, 이들 기기를 이용하는 사용자의 팔의 피로도가 심하다. 또한, 모션에 기반한 제스쳐의 경우, 사용자의 모션 이외의 백그라운드 모션(background motion)에도 기기가 민감한 반응을 보이게 되므로, 기기를 제어하고 있는 사용자 이외의 제3자의 움직임이나 다른 객체의 움직임에 의한 오동작이 자주 발생한다. 의도되지 않은 제스쳐에 의해 기기가 작동할 확률이 높은 것이다.
또한, 디지털 카메라나 디지털 카메라가 장착된 휴대용 기기를 이용하여 사용자 자신을 모습을 촬영할 때, 촬영 버튼을 누르는 동작에 의해 기기의 흔들림이 발생하고 결과적으로 선명도가 떨어지는 사진이 촬영된다.
따라서, 디지털 장치 및 디지털 카메라 장치를 제어함에 있어서 보다 효율적인 사용자 인터페이스 방법이 필요한 실정이다.
본 발명은 상기와 같은 문제를 해결하기 위해, 사용자의 손 모양 인식을 이용한 디지털 장치를 제어하는 방법 및 사진 촬영 방법과, 그 장치를 제공하기 위한 것이다.
본 발명의 일 실시예에 따른 디지털 장치는, 사용자 이미지를 획득하기 위한 이미지 획득부와, 상기 획득된 사용자 이미지로부터 기본 객체와 보조 객체를 구분하여 판별함으로써 손의 모양을 인식하고, 상기 인식된 손의 모양에 대응하는 소정의 기능을 수행하는 제어부를 포함할 수 있다.
본 발명의 일 실시예에 따른 제어부는, 상기 기본 객체의 사이즈와 위치에 따라 상기 보조 객체가 존재할 적어도 하나의 관심 영역을 정의하고, 상기 적어도 하나의 관심 영역으로부터 적어도 하나의 보조 객체를 판별할 수 있다.
본 발명의 일 실시예에 따른 제어부는, 상기 인식된 손의 모양이 소정의 모양임이 판단되는 경우 상기 이미지 획득부를 제어하여 사진을 촬영하도록 할 수 있다.
본 발명의 일 실시예에 따른 디지털 장치는, 수행할 기능과 그에 대응하는 손의 모양에 대한 정보를 사용자로부터 입력받기 위한 입력부를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 디지털 장치는, 각 사용자에 대해, 얼굴 정보, 손의 모양 및 상기 손의 모양에 대응하는 기능에 대한 정보를 저장하기 위한 저장부를 더 포함하고, 상기 제어부는, 상기 저장부에 저장된 얼굴 정보를 사용하여 상기 디지털 장치의 사용자를 식별할 수 있다.
본 발명의 일 실시예에 따른 디지털 장치 제어 방법은, 사용자 이미지를 획득하는 단계와, 상기 획득된 사용자 이미지로부터 기본 객체와 보조 객체를 구분하여 판별함으로써 손의 모양을 인식하는 단계와, 상기 인식된 손의 모양에 대응하는 소정의 기능을 수행하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 디지털 카메라 장치는, 사진을 촬영하기 위한 촬영부와, 상기 촬영부에 의해 획득된 미리보기 이미지로부터 손의 모양을 인식하고, 상기 인식된 손의 모양이 소정의 모양에 해당하는 경우 상기 촬영부를 제어하여 사진을 촬영하도록 하는 제어부를 포함할 수 있다.
본 발명의 일 실시예에 따른 디지털 카메라 장치는, 얼굴 정보와 선호하는 손 모양에 대한 정보를 포함하는 사용자 정보를 저장하기 위한 저장부를 더 포함하고, 상기 제어부는, 상기 미리보기 이미지로부터 인식되는 얼굴 정보와 상기 저장부에 저장된 얼굴 정보를 이용하여 사용자를 식별하고, 상기 식별된 사용자가 선호하는 손 모양이 인식되었을 경우에 상기 사진을 촬영하도록 상기 촬영부를 제어할 수 있다.
본 발명의 일 실시예에 따른 제어부는, 상기 손의 모양을 인식한 후 소정의 시간이 경과되었을 때 사진을 촬영하도록 상기 촬영부를 제어할 수 있다.
본 발명의 일 실시예에 따른, 디지털 카메라 장치에서 사진을 촬영하는 방법은, 미리보기 이미지를 획득하는 단계와, 상기 획득된 미리보기 이미지로부터 손의 모양을 인식하는 단계와, 상기 인식된 손의 모양이 소정의 모양에 해당하는 경우 사진을 촬영하는 단계를 포함할 수 있다.
도 1은 본 발명의 일 실시예와 관련된 디지털 카메라 장치를 설명하기 위한 블록 구성도이다.
도 2는 본 발명의 일 실시예와 관련된 촬영 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 일 실시예와 관련된 손의 모양을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예와 관련된 손의 모양에 따른 촬영 방법을 설명하기 위한 이미지이다.
도 5는 본 발명의 일 실시예와 관련된 사용자별 손 모양의 설정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예와 관련된 디지털 장치를 설명하기 위한 블록 구성도이다.
도 7은 본 발명의 일 실시예와 관련된 디지털 장치의 제어 방법을 설명하기 위한 순서도이다.
도 8은 본 발명의 일 실시예와 관련된 오케이 사인을 설명하기 위한 이미지이다.
도 9는 본 발명의 일 실시예와 관련된 손 모양 인식 방법을 설명하기 위한 순서도이다.
도 10a는 본 발명의 일 실시예와 관련된 손 모양 인식 방법을 설명하기 위한 이미지이다.
도 10b는 본 발명의 다른 실시예와 관련된 손 모양 인식 방법을 설명하기 위한 이미지이다.
도 11은 본 발명의 일 실시예와 관련된 오케이 사인을 인식하는 방법을 설명하기 위한 이미지이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 발명의 일 실시예와 관련된 디지털 카메라 장치를 설명하기 위한 블록 구성도이다.
도 1을 참조하면, 디지털 카메라 장치(100)는 촬영부(110), 제어부(120), 저장부(130)를 포함할 수 있다.
촬영부(110)는 사진을 촬영하기 위한 것으로, 미리보기 이미지를 획득하거나 사진을 촬영하여 제어부(120)로 출력한다. 제어부(120)는, 촬영부(110)에 의해 획득된 미리보기 이미지로부터 손의 모양을 인식하기 위한 것으로, 프로세서로서 구현될 수 있으며, 소프트웨어 및/또는 하드웨어로 구현되는 인식기(Classifier)를 포함할 수 있다. 제어부(120)는, 인식된 손의 모양이 장치(100)의 제작자에 의해 또는 사용자에 의해 미리 정해진 모양에 해당하는 경우 촬영부(110)를 제어하여 사진을 촬영하도록 할 수 있다. 저장부(130)는 촬영부(110)에 의해 촬영된 사진을 저장하기 위한 것이다.
미리보기 이미지로부터 소정의 손의 모양이 인식되는 때에 사진이 바로 촬영된다면, 사용자가 사진 촬영을 지시하기 위해 취했던 포즈가 그대로 촬영되므로, 제어부(120)는 미리 정해진 손의 모양이 미리보기 이미지에 포함되어 있음을 인식한 후 소정의 시간이 경과되었을 때 사진을 촬영하도록 촬영부(110)를 제어할 수 있다. 소정의 시간이 경과되었는지 여부를 판단하기 위해 카운터가 사용될 수 있으며, 카운터는 소프트웨어에 의해 또는 하드웨어에 의해 구현될 수 있다.
도 2는 본 발명의 일 실시예와 관련된 촬영 방법을 설명하기 위한 순서도이다.
미리보기 이미지가 획득되면(S210), 미리보기 이미지를 분석하여 이미지 내에 포함된 손의 모양을 감지한다(S220). 미리보기 이미지 내에서 미리 정해진 손의 모양이 인식되는 경우(S230), 사진을 촬영한다(S240).
도 3은 본 발명의 일 실시예와 관련된 손의 모양을 설명하기 위한 도면이다. 사진 촬영을 지시하는 손의 모양으로 이용될 수 있는 것은 오케이 사인(310, OK Sign), 엄지 손가락을 세우는 포즈(320, Thumb up), 브이자 사인(330, Victory Sign) 등이 있을 수 있으나, 이에 한정되는 것은 아니며 다른 손 모양이 사용될 수도 있다.
도 4는 본 발명의 일 실시예와 관련된 손의 모양에 따른 촬영 방법을 설명하기 위한 이미지이다.
도 1 및 도 4를 참조하면, 촬영부(110)에 의해 획득된 미리보기 이미지에는 엄지 손가락을 세운 손이 포함되어 있으며, 제어부(120)는 미리보기 이미지로부터 엄지 손가락을 세우는 포즈에 해당하는 손 이미지(410)를 인식하고, 사진을 촬영하도록 촬영부(110)를 제어할 것이다.
도 5는 본 발명의 일 실시예와 관련된 사용자별 손 모양의 설정을 설명하기 위한 도면이다.
도 1을 참조하면, 디지털 카메라 장치(100)의 저장부(130)는 사용자가 선호하는 손 모양에 대한 정보를 포함하는 사용자 정보를 더 저장할 수 있다. 이는 복수의 사용자가 디지털 카메라 장치를 사용하는 경우, 사용자마다 사진 촬영시 선호하는 포즈가 다를 수 있기 때문이다. 이 실시예에 따르면, 디지털 카메라 장치(100)는 사용자로부터 사용자가 원하는 손 모양을 입력 받기 위한 입력부(도시되지 않음)를 더 포함할 것이며, 제어부(120)는 사용자를 식별할 수 있는 정보와 함께 해당 사용자가 등록한 손 모양에 대한 정보를 저장부(130)에 저장할 것이다. 도 5를 참조하면, 사용자별로 다른 손 모양이 등록되어 있음을 알 수 있으며, user1이 사용하는 경우는 브이자 사인(510)이 인식될 때, user2가 사용하는 경우는 다섯 손가락을 다 편 손 모양(520)이 인식될 때, user3가 사용하는 경우는 검지 손가락을 세우는 손 모양(530)이 인식될 때, user4가 사용하는 경우는 오케이 사인(540)이 인식될 때 사진이 촬영될 것이다.
어떤 사용자가 장치(100)를 사용하고 있는지 식별하기 위한 방법으로, 사용자로 하여금 ID(Indentification) 또는 계정(Account)을 이용해 장치(100)에 로그인하도록 하는 방법이 있다. 그러나, 이러한 방법은 사진을 촬영하려는 사용자에게 불편을 야기할 수 있기 때문에, 사용자의 얼굴을 촬영하여 획득한 사용자의 얼굴 정보을 이용하여 장치(100)의 사용자를 식별하는 방법을 이용할 수 있다. 제어부(120)는 촬영부(110)가 촬영한 사용자의 얼굴 이미지를 수신하고 사용자의 얼굴에 대한 정보를 사용자 정보로서 저장부(130)에 저장할 것이다. 제어부(120)는, 사진 촬영시 미리보기 이미지로부터 인식되는 얼굴 정보와 저장부(130)에 저장되어 있는 사용자들의 얼굴 정보를 이용하여 사용자를 식별하고, 식별된 사용자가 선호하는 손 모양이 인식되었을 경우에 사진을 촬영하도록 촬영부(110)를 제어할 것이다.
도 6은 본 발명의 일 실시예와 관련된 디지털 장치를 설명하기 위한 블록 구성도이다.
디지털 장치(600)는 사용자의 손 모양에 따라 소정의 기능을 수행하기 위한 것으로서, 이미지 획득부(610), 제어부(620), 저장부(630)를 포함할 수 있다. 본 발명에 따른 디지털 장치(600)는 카메라를 구비한 컴퓨팅 장치로서, 디지털 카메라, 카메라가 연결된 디지털 게임 장치, 카메라가 구비된 인터랙티브 디지털 장치, 디지털 광고 장치가 그 예이다.
이미지 획득부(610)는 사용자 이미지를 획득하기 위한 것으로서, 촬영부를 포함하여 사용자의 이미지를 직접 촬영할 수 있다. 그러나, 본 발명의 다른 실시예에 따르면, 이미지 획득부(610)는 촬영부를 포함한 카메라 장치로부터 사용자 이미지를 수신하는 수신부를 포함하거나, 외부의 디지털 장치로부터 사용자의 이미지를 수신하기 위한 통신부를 포함할 수 있다.
제어부(620)는, 이미지 획득부(610)에 의해 획득된 사용자 이미지로부터 손의 모양을 인식하기 위한 것으로, 프로세서로서 구현될 수 있으며, 소프트웨어 및/또는 하드웨어로 구현되는 인식기를 포함할 수 있다. 제어부(620)는, 미리 정해진 손의 모양들 중 하나가 인식되는 경우, 인식된 손의 모양에 대응하는 소정의 기능을 수행한다. 인식된 손의 모양에 대응하는 기능이 사진 촬영으로 정의되어 있는 경우, 제어부(620)는 이미지 획득부(610)를 제어하여 사진을 촬영하도록 할 것이다.
종교나 문화적 차이에 따라 손 모양이 가지는 의미가 다양하다. 한 문화권에서는 일반적으로 통용되는 손 모양이 다른 문화권에서는 욕을 의미할 수도 있다. 또한, 사용자의 취향에 따라 디지털 장치(600)의 제어에 사용하고 싶은 손 모양이 다를 수 있다. 따라서, 장치의 개발자 또는 제조사가 특정 손 모양을 사용하도록 미리 설정하는 것은 사용자의 불편을 야기할 수 있다. 본 발명의 일 실시예에 따르면, 디지털 장치(600)는 수행할 기능과 그에 대응하는 손의 모양에 대한 정보를 사용자로부터 입력받기 위한 입력부(도시되지 않음)를 더 포함할 수 있다. 이 경우, 디지털 장치(600)의 제어부(620)는 사용자가 손 모양을 등록할 수 있는 사용자 인터페이스를 출력부(도시되지 않음)를 통해 제공할 것이며, 등록된 손 모양은 저장부(130)에 저장될 것이다.
한편, 하나의 디지털 장치를 복수의 사용자가 사용하는 경우, 사용자별로 선호하는 손 모양이나 모션에 의해 제어하고 싶은 기능이 다를 수 있다. 이러한 문제를 해결하기 위해 사용자별로 손의 모양과 손의 모양에 대응하는 기능에 대한 정보를 관리할 수 있다. 즉, 각 사용자에 대해, 식별 정보, 손의 모양 및 상기 손의 모양에 대응하는 기능에 대한 정보가 저장부(630)에 저장될 수 있다. 이러한 정보들은 사용자 인터페이스를 통해 사용자로부터 입력될 수 있다. 사용자의 식별 정보로는 사용자의 ID이나 계정 정보를 사용할 수 있으나, ID 입력이나 로그인에 의한 불편을 해소하기 위해 사용자의 얼굴 정보가 사용될 수도 있다. 제어부(620)는 이미지 획득부(610)를 통해 손 모양에 대한 정보를 등록하려는 사용자의 이미지를 획득하고, 사용자의 이미지로부터 분석된 사용자의 얼굴 정보를 생성하여 저장부(630)에 저장할 수 있다. 제어부(620)는, 저장부(630)에 저장된 얼굴 정보를 사용하여 디지털 장치(600)의 사용자를 식별할 것이다. 제어부(620)는, 디지털 장치(600)의 사용자를 촬영한 이미지에 포함된 얼굴 정보와 저장부(630)에 저장된 사용자들의 얼굴 정보를 비교하여, 어떤 사용자가 디지털 장치(600)를 사용하고 있는지 판단하고, 해당 사용자에 연결되어 저장된 손 모양이 인식된 경우 인식된 손 모양에 대응하는 기능을 수행할 것이다.
도 8은 본 발명의 일 실시예와 관련된 오케이 사인을 설명하기 위한 이미지이다. 도 8의 810, 820, 830과 같이, 오케이 사인을 만들기 위한 손 모양의 경우, 사람마다 그 모습이 다른 경향이 있으며, 같은 사람의 경우에도 서 있는 방향이나 상황에 따라 손 모양이 많이 달라질 수 있다. 종래에는 오케이 사인을 인식하기 위해 손가락의 끝 부분을 인식하고 엄지와 검지 손가락이 서로 맞닿아 있는 경우 오케이 사인으로 판단하는 방법을 사용하였다. 그러나, 모든 가능한 오케이 사인을 커버하도록 하나의 인식기를 학습(train)시키기는 불가능하므로 인식의 성능이 좋지 않았다.
본 발명의 일 실시예에 따르면, 제어부(620)는 기본 객체(base object)와 보조 객체(secondary object)를 구분하여 판별함으로써 손의 모양을 인식하는 파트 기반 접근 방법(Part Based Approach)를 사용한다. 파트 기반 접근방법은 오케이 사인과 같이 복잡한 손 모양을 인식하는데 효율적인 방법이다. 파트 기반 접근 방법은 구별되게 학습된 파트 기반 모델들(Part Based Model)을 사용하여 객체를 감지하는 방식으로서, 기본 객체의 사이즈와 위치에 따라 보조 객체가 존재할 적어도 하나의 관심 영역을 정의하고, 적어도 하나의 관심 영역으로부터 적어도 하나의 보조 객체를 판별함으로써 손의 모양을 인식하게 된다. 기본 객체(base object)란 복잡한 손 모양의 기본(base)이 되는 부분으로, 보통 손바닥이나 주먹 등의 영역을 말한다. 보조 객체(secondary object)란 기본 객체와 함께 복잡한 손 모양을 특징짓는 부분을 의미하며, 보톤 손가락이 이에 해당한다. 또한, ROI(Region Of Interest)는 관심 영역으로, 본 발명에서는 보조 객체가 있어야 할 위치를 한정하기 위해 사용한다.
도 9는 본 발명의 일 실시예와 관련된 손 모양 인식 방법을 설명하기 위한 순서도이다. 도 10a는 본 발명의 일 실시예와 관련된 손 모양 인식 방법을 설명하기 위한 이미지로서, 사용자가 오케이 사인을 만들어 보이고 있다.
먼저, 이미지 획득부(610)에 의해 획득된 이미지가 입력된다(S910). 제어부(620)는, 이미지 획득부(610)로부터 받은 이미지를, 학습된 기본 모델(base model)과 비교하여 상기 이미지에 기본 객체(base object)가 있는지 판별한다(S912). 도 10a의 실시예에서 기본 모델은 손바닥 모델(palm model)로서, 판별된 기본 객체는 손바닥에 해당하는 부분(1010)일 것이다. 기본 객체가 존재할 경우는(S914), 기본 객체의 사이즈와 위치를 기반으로 보조 객체가 위치해야 할 적어도 하나의 ROI를 정의한다(S916).
첫번째 ROI 내에 보조 객체가 있는지 판별한다(S918). 첫번째 ROI는 세 손가락이 위를 향해 세워져 있는 영역(1020)이 될 수 있다. 보조 객체의 인식은 학습된 보조 모델(secodary model)과의 비교를 통해 수행될 것이며, 도 10a의 실시예에서 보조 객체는 손가락에 해당하는 부분이다. 첫번째 ROI 내에 보조 객체가 하나도 존재하지 않으면(S920) 손 모양 인식은 실패하게 되어 False가 리턴될 것이다(S926). 도 10a를 참조하면, 첫번째 ROI에 해당하는 영역(1020)에 3개의 보조 객체(1021)가 존재한다. 첫번째 ROI 내에 보조 객체가 존재하면(S920), 다음 ROI가 있는지 판단한다(S922). 다음 ROI가 존재하는 경우(S922) 보조 객체가 있을 ROI를 정의하는 단계로 돌아간다(S916).
두번째 ROI 내에 보조 객체가 있는지 판별한다(S918). 도 10a를 참조하면, 두번째 ROI에 해당하는 영역(1030)에 위를 향하고 있는 엄지 손가락과 아래를 향하고 있는 검지 손가락이라는 2개의 보조 객체(1031)가 존재한다. ROI 내에 있어야 할 보조 객체가 존재하지 않는 경우(S920) 인식 실패로 판단하고 False를 리턴한다(S926). ROI 내에 있어야 할 보조 객체가 존재하는 경우(S920), 처리해야 할 다음 ROI가 있는지 판단한다(S922). 다음 ROI가 없는 경우 손 모양 인식이 성공한 것으로 판단하여 True를 리턴할 수 있다(S924).
오케이 사인의 경우 세 손가락이 세워져 있는 영역과 엄지 및 검지 손가락이 맞닿아 있는 영역이라는 2개의 ROI 영역이 존재할 수 있다. 2개의 ROI 모두에 보조 객체가 포함되는 경우에만 인식 성공으로 판단하도록 판단 기준이 설정된 경우라면, 하나의 ROI에만 보조 객체가 존재하는 이미지에 대해서는 인식 실패로 판단하여 False를 리턴할 것이다. 반면, 2개의 ROI 영역 중 하나의 ROI에서만 보조 객체가 판별되는 경우에도 인식 성공으로 판단하도록 판단 기준이 설정된 경우라면, 하나의 ROI에만 보조 객체가 존재하는 이미지에 대해서도 인식 성공으로 판단하여 True를 리턴할 것이다.
도 7은 본 발명의 일 실시예와 관련된 디지털 장치의 제어 방법을 설명하기 위한 순서도이다.
먼저, 사용자 이미지를 획득한다(S710). 획득되는 사용자 이미지는 미리보기 이미지일 수 있다. 획득된 사용자 이미지로부터 기본 객체와 보조 객체를 구분하여 판별함으로써 손의 모양을 인식한다(S720). 사용자 이미지에 소정의 손 모양이 포함되어 있는지 여부는 전술한 파트 기반 접근 방법에 의해 판단될 수 있다. 미지 정해진 손의 모양이 상기 사용자 이미지에서 인식되는 경우, 인식된 손의 모양에 대응하는 소정의 기능을 수행한다(S730).
도 10b는 본 발명의 다른 실시예와 관련된 손 모양 인식 방법을 설명하기 위한 이미지로서, 사용자가 브이자 사인(Victory Sign)을 만들어 보이고 있다.
인식기는 기본 객체를 판별하기 위한 기본 감지부(base detector)와 보조 객체를 판별하기 위한 보조 감지부(secondary detector)를 포함할 수 있다. 도 10b를 참조하면, 기본 감지부가 3개의 기본 객체(1050, 1051, 1052)를 감지하였다. 각 기본 객체에 대하여 보조 객체가 위치할 적어도 하나의 ROI를 정의하고 정의된 ROI에 보조 객체가 존재하는지 판별하는 절차가 수행되고, 하나 이상의 기본 객체에 대해서 손 모양 인식이 성공한다면 손 모양 인식이 성공된 것으로 결정될 것이다. 도 10b를 참조하면, 복수의 기본 객체에 대한 ROI들(1060, 1061, 1062)이 정의되어 있다. 첫번째 기본 객체(1050)의 사이즈와 위치에 따라 정의된 ROI(1060) 내에서 2개의 보조 객체(1070, 1071)인 손가락 영상이 인식되었으므로, 사용자의 손 모양은 브이자 사인임이 결정된다.
도 11은 본 발명의 일 실시예와 관련된 오케이 사인을 인식하는 방법을 설명하기 위한 이미지이다.
오케이 사인의 고유한 특징은 원모양으로 연결되는 엄지 손가락과 검지 손가락, 즉 O 사인에 있다. 그러나, 오케이 사인은 도 11a에 도시된 바와 같이 검지 손가락의 손톱 부분 즉 앞부분이 보이는 형태일 수도 있지만, 도 11b에 도시된 바와 같이 검지 손가락의 측면이 보이는 형태일 수도 있다. 이러한 경우의 인식 성능을 개선하기 위해서, 검지 손가락의 전면과 검지 손가락의 측면을 인식하기 위해 2개의 다른 모델을 사용할 수 있다. 또한, 엄지 손가락과 검지 손가락 모두를 인식한 경우에만 인식 성공으로 판단한다면 인식 성능이 저하될 수 있으므로, 엄지 손가락이나 검지 손가락 중 하나만 인식되어도 오케이 사인으로 인식하도록 인식기를 구현할 수도 있다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.
100: 디지털 카메라 장치
110: 촬영부
120: 제어부
130: 저장부
600: 디지털 장치
610: 이미지 획득부
620: 제어부
630: 저장부
1010: 기본 객체(Base Object)
1020, 1030: ROI(Region Of Interest)
1021, 1031: 보조 객체(Secondary Object)
1050, 1051, 1052: 기본 객체
1060, 1061, 1062: ROI
1070, 1071: 보조 객체

Claims (18)

  1. 디지털 장치에 있어서,
    사용자 이미지를 획득하기 위한 이미지 획득부와,
    상기 획득된 사용자 이미지로부터 기본 객체와 보조 객체를 구분하여 판별함으로써 손의 모양을 인식하고, 상기 인식된 손의 모양에 대응하는 소정의 기능을 수행하는 제어부를 포함하는 것을 특징으로 하는 장치.
  2. 제1항에 있어서,
    상기 제어부는, 상기 기본 객체의 사이즈와 위치에 따라 상기 보조 객체가 존재할 적어도 하나의 관심 영역을 정의하고, 상기 적어도 하나의 관심 영역으로부터 적어도 하나의 보조 객체를 판별하는 것을 특징으로 하는 장치.
  3. 제1항에 있어서,
    상기 제어부는, 상기 인식된 손의 모양이 소정의 모양임이 판단되는 경우 상기 이미지 획득부를 제어하여 사진을 촬영하도록 하는 것을 특징으로 하는 장치.
  4. 제1항에 있어서,
    수행할 기능과 그에 대응하는 손의 모양에 대한 정보를 사용자로부터 입력받기 위한 입력부를 더 포함하는 것을 특징으로 하는 장치.
  5. 제1항에 있어서,
    각 사용자에 대해, 얼굴 정보, 손의 모양 및 상기 손의 모양에 대응하는 기능에 대한 정보를 저장하기 위한 저장부를 더 포함하고,
    상기 제어부는, 상기 저장부에 저장된 얼굴 정보를 사용하여 상기 디지털 장치의 사용자를 식별하는 것을 특징으로 하는 장치.
  6. 디지털 장치 제어 방법에 있어서,
    사용자 이미지를 획득하는 단계와,
    상기 획득된 사용자 이미지로부터 기본 객체와 보조 객체를 구분하여 판별함으로써 손의 모양을 인식하는 단계와,
    상기 인식된 손의 모양에 대응하는 소정의 기능을 수행하는 단계를 포함하는 것을 특징으로 하는 방법.
  7. 제6항에 있어서,
    상기 손의 모양을 인식하는 단계는,
    상기 기본 객체의 사이즈와 위치에 따라 상기 보조 객체가 존재할 적어도 하나의 관심 영역을 정의하는 단계와,
    상기 적어도 하나의 관심 영역으로부터 적어도 하나의 보조 객체를 판별하는 단계를 포함하는 것을 특징으로 하는 방법.
  8. 제6항에 있어서,
    상기 소정의 기능을 수행하는 단계는, 상기 인식된 손의 모양이 소정의 모양임이 판단되는 경우 사진을 촬영하는 단계를 포함하는 것을 특징으로 하는 방법.
  9. 제6항에 있어서,
    수행할 기능과 그에 대응하는 손의 모양에 대한 정보를 사용자로부터 입력받는 단계를 더 포함하는 것을 특징으로 하는 방법.
  10. 제6항에 있어서,
    각 사용자에 대해, 얼굴 정보, 손의 모양 및 상기 손의 모양에 대응하는 기능에 대한 정보를 저장하는 단계와,
    상기 저장된 얼굴 정보를 사용하여 상기 디지털 장치의 사용자를 식별하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  11. 제6항 내지 제10항 중 어느 한 항의 디지털 장치 제어 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  12. 디지털 카메라 장치에 있어서,
    사진을 촬영하기 위한 촬영부와,
    상기 촬영부에 의해 획득된 미리보기 이미지로부터 손의 모양을 인식하고, 상기 인식된 손의 모양이 소정의 모양에 해당하는 경우 상기 촬영부를 제어하여 사진을 촬영하도록 하는 제어부를 포함하는 것을 특징으로 하는 장치.
  13. 제12항에 있어서,
    얼굴 정보와 선호하는 손 모양에 대한 정보를 포함하는 사용자 정보를 저장하기 위한 저장부를 더 포함하고,
    상기 제어부는, 상기 미리보기 이미지로부터 인식되는 얼굴 정보와 상기 저장부에 저장된 얼굴 정보를 이용하여 사용자를 식별하고, 상기 식별된 사용자가 선호하는 손 모양이 인식되었을 경우에 상기 사진을 촬영하도록 상기 촬영부를 제어하는 것을 특징으로 하는 장치.
  14. 제12항에 있어서,
    상기 제어부는, 상기 손의 모양을 인식한 후 소정의 시간이 경과되었을 때 사진을 촬영하도록 상기 촬영부를 제어하는 것을 특징으로 하는 장치.
  15. 디지털 카메라 장치에서 사진을 촬영하는 방법 있어서,
    미리보기 이미지를 획득하는 단계와,
    상기 획득된 미리보기 이미지로부터 손의 모양을 인식하는 단계와,
    상기 인식된 손의 모양이 소정의 모양에 해당하는 경우 사진을 촬영하는 단계를 포함하는 것을 특징으로 하는 방법.
  16. 제15항에 있어서,
    얼굴 정보와 선호하는 손 모양에 대한 정보를 포함하는 사용자 정보를 저장하는 단계를 더 포함하고,
    상기 사진을 촬영하는 단계는, 상기 미리보기 이미지로부터 인식되는 얼굴 정보와 상기 저장된 얼굴 정보를 이용하여 사용자를 식별하고, 상기 식별된 사용자가 선호하는 손 모양이 인식되었을 경우에 사진을 촬영하는 단계를 포함하는 것을 특징으로 하는 방법.
  17. 제15항에 있어서,
    상기 사진을 촬영하는 단계는, 상기 손의 모양을 인식한 후 소정의 시간이 경과되었을 때 사진을 촬영하는 단계를 포함하는 것을 특징으로 하는 방법.
  18. 제15항 내지 제17항 중 어느 한 항의 사진 촬영 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR20130122221A 2013-10-14 2013-10-14 손 모양 인식을 이용한 디지털 장치의 제어 방법 및 촬영 방법과, 그 장치 KR20150043149A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20130122221A KR20150043149A (ko) 2013-10-14 2013-10-14 손 모양 인식을 이용한 디지털 장치의 제어 방법 및 촬영 방법과, 그 장치
US14/513,790 US20150103205A1 (en) 2013-10-14 2014-10-14 Method of controlling digital apparatus and image capture method by recognition of hand shape, and apparatus therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130122221A KR20150043149A (ko) 2013-10-14 2013-10-14 손 모양 인식을 이용한 디지털 장치의 제어 방법 및 촬영 방법과, 그 장치

Publications (1)

Publication Number Publication Date
KR20150043149A true KR20150043149A (ko) 2015-04-22

Family

ID=52809345

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130122221A KR20150043149A (ko) 2013-10-14 2013-10-14 손 모양 인식을 이용한 디지털 장치의 제어 방법 및 촬영 방법과, 그 장치

Country Status (2)

Country Link
US (1) US20150103205A1 (ko)
KR (1) KR20150043149A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9946355B2 (en) 2015-09-01 2018-04-17 Samsung Electronics Co., Ltd. System and method for operating a mobile device using motion gestures
CN110896450A (zh) * 2019-11-13 2020-03-20 维沃移动通信有限公司 一种人物图像的处理方法及电子设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI377836B (en) * 2007-03-20 2012-11-21 Htc Corp Image capture systems and methods, and machine readable medium thereof
CN101465961B (zh) * 2007-12-19 2013-10-30 神基科技股份有限公司 以特征影像辨识控制快门的摄像装置及方法
JP5829390B2 (ja) * 2010-09-07 2015-12-09 ソニー株式会社 情報処理装置、および情報処理方法
US8693726B2 (en) * 2011-06-29 2014-04-08 Amazon Technologies, Inc. User identification by gesture recognition
US20130159939A1 (en) * 2011-10-12 2013-06-20 Qualcomm Incorporated Authenticated gesture recognition
JP2013205983A (ja) * 2012-03-27 2013-10-07 Sony Corp 情報入力装置及び情報入力方法、並びにコンピューター・プログラム
AU2013205613B2 (en) * 2012-05-04 2017-12-21 Samsung Electronics Co., Ltd. Terminal and method for controlling the same based on spatial interaction
US9438805B2 (en) * 2012-06-08 2016-09-06 Sony Corporation Terminal device and image capturing method
US20130335587A1 (en) * 2012-06-14 2013-12-19 Sony Mobile Communications, Inc. Terminal device and image capturing method

Also Published As

Publication number Publication date
US20150103205A1 (en) 2015-04-16

Similar Documents

Publication Publication Date Title
KR101603017B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
US8432357B2 (en) Tracking object selection apparatus, method, program and circuit
EP2877254B1 (en) Method and apparatus for controlling augmented reality
US20120304067A1 (en) Apparatus and method for controlling user interface using sound recognition
KR100947990B1 (ko) 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법
US20180007259A1 (en) Photo-taking prompting method and apparatus, an apparatus and non-volatile computer storage medium
JP5662670B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US9047504B1 (en) Combined cues for face detection in computing devices
JP2005202653A (ja) 動作認識装置及び方法、動物体認識装置及び方法、機器制御装置及び方法、並びにプログラム
KR20120080070A (ko) 모션에 의해 제어되는 전자기기 및 그 제어 방법
US20130135192A1 (en) Gesture recognition apparatus, method thereof and program therefor
JP2009265809A (ja) 情報端末装置
CN108596079B (zh) 手势识别方法、装置及电子设备
US11886643B2 (en) Information processing apparatus and information processing method
JP6825397B2 (ja) 生体認証装置、生体認証方法及び生体認証プログラム
KR20150043149A (ko) 손 모양 인식을 이용한 디지털 장치의 제어 방법 및 촬영 방법과, 그 장치
JP4881185B2 (ja) 画像ソート装置および方法並びにプログラム
JP6230666B2 (ja) データ入力装置、データ入力方法、及びデータ入力プログラム
KR20120132337A (ko) 음성 인식을 이용하는 사용자 인터페이스 제어 장치 및 방법
TWI630507B (zh) 目光偵測、辨識與控制方法
CN109725722B (zh) 有屏设备的手势控制方法和装置
US11340706B2 (en) Gesture recognition based on depth information and computer vision
JP2014182452A (ja) 情報処理装置及びプログラム
US11054941B2 (en) Information processing system, information processing method, and program for correcting operation direction and operation amount
JP7489048B2 (ja) ジェスチャ認識装置、システム及びそのプログラム

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid