KR101396098B1 - 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법 및 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기 - Google Patents

단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법 및 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기 Download PDF

Info

Publication number
KR101396098B1
KR101396098B1 KR1020140024189A KR20140024189A KR101396098B1 KR 101396098 B1 KR101396098 B1 KR 101396098B1 KR 1020140024189 A KR1020140024189 A KR 1020140024189A KR 20140024189 A KR20140024189 A KR 20140024189A KR 101396098 B1 KR101396098 B1 KR 101396098B1
Authority
KR
South Korea
Prior art keywords
finger
image
region
fingertip
coordinate value
Prior art date
Application number
KR1020140024189A
Other languages
English (en)
Other versions
KR20140043771A (ko
Inventor
홍광석
오병훈
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020140024189A priority Critical patent/KR101396098B1/ko
Publication of KR20140043771A publication Critical patent/KR20140043771A/ko
Application granted granted Critical
Publication of KR101396098B1 publication Critical patent/KR101396098B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명에 따른 이동 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법은 (a) 이동 단말기의 모노 카메라가 손가락 영역을 포함하는 타겟 영상을 획득하는 단계, (b) 이동 단말기의 프로세서가 영상 처리 기술을 이용하여 타겟 영상에서 손가락 영역을 검출하는 단계, (c) 이동 단말기의 프로세서가 손가락 영역에서 아다부스트 알고리즘을 이용하여 손가락 끝(fingertip) 영역을 검출하는 단계 및 (d) 이동 단말기의 프로세서가 손가락 끝 영역을 이용하여 3차원 좌표값을 연산하는 단계를 포함한다.

Description

단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법 및 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기{METHOD FOR GENERATING 3D COORDINATE USING FINGER IMAGE FROM MONO CAMERA IN TERMINAL AND MOBILE TERMINAL FOR GENERATING 3D COORDINATE USING FINGER IMAGE FROM MONO CAMERA}
본 발명은 이동 단말과 같은 장치에서 하나의 후면부 카메라를 사용하여 3차원 좌표를 생성하는 방법 내지 이 방법을 사용하는 이동 단말에 관한 것이다.
최근 공학 기술의 급속한 발전과 하드웨어의 우수한 성능으로 인해 컴퓨터가 인간의 일상생활에 차지하는 역할이 더욱 부각되고 있다. 인터넷 검색, 보고서 및 전자 메일의 작성, 게임 등과 같이 매우 다양한 형태로 편리성을 제공하는 컴퓨터가 대중화되었고, 이로 인해 인간과 컴퓨터 사이의 의사소통을 하기 위한 보다 효과적인 인터페이스의 개발과 연구가 활발히 진행되고 있다.
현재 3차원 공간을 제어하는 장비로는 데이터 글러브, 3D 마우스, 적외선 센서를 이용하는 3D 입력장치 등이 있다. 게임 산업의 발전은 새로운 형태의 인터페이스를 요구하게 되었고, 이로 인해 3D 인터페이스 분야도 크게 발전하는 계기가 되었다.
한편 작은 컴퓨터 장치라고 할 수 있는 스마트폰과 같은 이동 단말 기기의 출현에 따라 이동 단말 기기에서도 다양한 인터페이스 수단이 연구되고 있다.
3차원 개념을 도입하기 위해 카메라를 이용한 영상 내의 분석을 통해 3차원 정보를 추정해 내는 연구가 활발히 진행되고 있다. 연구되고 있는 기술은 일반적으로 마커, 데이터 글러브, 스페이스 볼, 스테레오 카메라 등의 물리적 장치를 별도로 이용한다([1] F. Zhou, H. B. Duh, and M. Billinghurst,"Trends in augmented reality tracking, interaction and display: A review of ten years of ISMAR," IEEE/ACM International Symposium on Mixed and Augmented Reality, pp.193-202, 2008., [2] M. Fiala, "ARTag, a fiducial marker system using digital techniques," IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR'05), Vol.2, pp.590-596, 2005. 등 참조).
종래의 3차원의 정보를 얻기 위한 연구는 마커와 같은 장치를 사용하여 인식률과 구현의 용이성을 높이는 연구가 진행되었지만 항상 영상 내에 마커가 존재해야 하는 근본적이 단점이 존재하고, 데이터 글러브 및 스페이스 볼 등을 이용하기 위해서 추가적인 비용이 발생하는 문제점이 있다.
본 발명은 이동 단말에 기본적으로 내장되어 있는 후면부 모노 카메라를 이용하여 3차원 좌표값을 생성하는 방법을 제공하고자 한다.
본 발명은 후면부 모노 카메라에 촬영되는 손가락 영상을 이용하여 3차원 좌표값을 생성하는 방법을 제공하고자 한다.
본 발명은 후면부 모노 카메라를 이용하여 생성되는 3차원 좌표값을 이동 단말 또는 이동 단말에서 실행되는 애플리케이션의 인터페이스 입력 수단으로 삼고자 한다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위하여 이하 기술하는 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법은 (a) 단말기의 모노 카메라가 손가락 영역을 포함하는 타겟 영상을 획득하는 단계, (b) 단말기의 프로세서가 영상 처리 기술을 이용하여 타겟 영상에서 손가락 영역을 검출하는 단계, (c) 단말기의 프로세서가 손가락 영역에서 아다부스트 알고리즘을 이용하여 손가락 끝 영역을 검출하는 단계 및 (d) 단말기의 프로세서가 손가락 끝 영역을 이용하여 3차원 좌표값을 연산하는 단계를 포함한다.
(b) 단계는 (ba) RGB 그레디언트 정보를 이용하여 타겟 영상에서 모폴로지컬 그레디언트 이미지를 검출하는 단계, (bb) YCbCr 컬러 정보를 이용하여 타겟 영상에서 배경을 제거한 손가락 이미지를 검출하는 단계 및 (bc) 모폴로지컬 그레디언트 이미지와 손가락 이미지를 결합하여 손가락 영역을 검출하는 단계를 포함한다.
(ba) 단계는 R, G 및 B 각각의 채널에서 모폴로지컬 그레디언트의 최대값 픽셀만을 결합하여 수행된다.
(bb) 단계는 타겟 영상을 RGB 컬러 모델에서 YCbCr 컬러로 변환하는 단계, 타겟 영상에 피부색의 임계치를 적용하는 단계 및 침식 및 팽창 연산을 이용하여 노이즈를 제거하는 단계를 포함한다.
(d) 단계는 손가락 끝 영역의 시작점 x좌표(Finger Region.x), 손가락 끝 영역의 시작점 y 좌표값(Finger Region.y), 가락 끝 영역의 너비(Finger Width), 손가락 끝 영역의 높이(Finger Height)를 이용하여 3차원 좌표값을 연산한다.
이하 기술하는 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기는 손가락 영역을 포함하는 타겟 영상을 획득하는 모노 카메라, 영상 처리 기술을 이용하여 타겟 영상에서 손가락 영역을 검출하는 손가락 영역 검출 모듈, 손가락 영역에서 아다부스트 알고리즘을 이용하여 손가락 끝 영역을 검출하는 손가락 끝 영역 검출 모듈 및 손가락 끝 영역을 이용하여 3차원 좌표값을 연산하는 3 차원 좌표 연산 모듈을 포함한다.
손가락 영역 검출 모듈은 RGB 그레디언트 정보를 이용하여 타겟 영상에서 모폴로지컬 그레디언트 이미지를 검출하고, YCbCr 컬러 정보를 이용하여 타겟 영상에서 배경을 제거한 손가락 이미지를 검출하고, 모폴로지컬 그레디언트 이미지와 손가락 이미지를 결합하여 손가락 영역을 검출한다.
손가락 영역 검출 모듈은 R, G 및 B 각각의 채널에서 모폴로지컬 그레디언트의 최대값 픽셀만을 결합하여 모폴로지컬 그레디언트 이미지를 검출한다.
손가락 영역 검출 모듈은 타겟 영상을 RGB 컬러 모델에서 YCbCr 컬러로 변환하고, 타겟 영상에 피부색의 임계치를 적용하고, 침식 및 팽창 연산을 통해 노이즈를 제거하여 손가락 이미지를 검출한다.
3 차원 좌표 연산 모듈은 손가락 끝 영역의 시작점 x좌표(Finger Region.x), 손가락 끝 영역의 시작점 y 좌표값(Finger Region.y), 손가락 끝 영역의 너비(Finger Width), 손가락 끝 영역의 높이(Finger Height)를 이용하여 3차원 좌표값을 연산한다.
이하 기술하는 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기의 다른 실시예는 손가락 영역을 포함하는 타겟 영상을 획득하는 모노 카메라, 영상 처리 기술을 이용하여 타겟 영상에서 손가락 영역을 검출하는 손가락 영역 검출 코드, 손가락 영역에서 아다부스트 알고리즘을 이용하여 손가락 끝 영역을 검출하는 손가락 끝 영역 검출 코드 및 손가락 끝 영역을 이용하여 3차원 좌표값을 연산하는 3 차원 좌표 연산 코드가 저장된 메모리 및 메모리에 저장된 손가락 영역 검출 코드를 실행하여 모노 카메라에서 획득하는 타겟 영상에서 손가락 영역을 검출하고, 메모리에 저장된 손가락 영역 검출 코드를 실행하여 손가락 영역에서 손가락 끝 영역을 검출하고, 메모리에 저장된 3 차원 좌표 연산 코드를 실행하여 3차원 좌표값을 연산하는 프로세서를 포함한다.
손가락 영역 검출 코드가 실행되는 프로세서는 손가락 영역 검출 코드를 실행하여 RGB 그레디언트 정보를 이용하여 타겟 영상에서 모폴로지컬 그레디언트 이미지를 검출하고, YCbCr 컬러 정보를 이용하여 타겟 영상에서 배경을 제거한 손가락 이미지를 검출하고, 모폴로지컬 그레디언트 이미지와 손가락 이미지를 결합하여 손가락 영역을 검출한다.
3 차원 좌표 연산 코드가 실행되는 프로세서는 손가락 끝 영역의 시작점 x좌표(Finger Region.x), 손가락 끝 영역의 시작점 y 좌표값(Finger Region.y), 손가락 끝 영역의 너비(Finger Width), 손가락 끝 영역의 높이(Finger Height)를 이용하여 3차원 좌표값을 연산한다.
프로세서는 손가락 끝 영역의 시작점 x 좌표를 이용하여 3차원 좌표값 중 x 좌표값을 연산하고, 손가락 끝 영역의 시작점 y 좌표를 이용하여 3차원 좌표값 중 y 좌표값을 연산하며, 손가락 끝 영역의 너비, 높이 또는 면적 중 어느 하나 이상의 변경을 기준으로 모노 카메라와 손가락의 거리를 연산하여 3차원 좌표값 중 z 좌표값을 설정한다.
본 발명에 따른 이동 단말에서의 3차원 좌표 생성 방법은 별도의 장비 없이 이동 단말에 내장된 후면부 모노 카메라를 이용하여 단말을 파지한 해당 손의 검지 손가락 움직임을 통하여 3차원 인터페이스 수단을 제공한다. 본 발명은 사용자에게 다양한 3D 콘텐츠를 이용하게 할 수 있고, 개발자에게 3차원 공간 안의 객체를 효과적으로 제어하는 인터페이스 제공할 수 있다. 나아가 이동 단말뿐만 아니라 카메라를 장착한 다양한 기기에도 응용이 가능하다. 예컨대, 게임기의 컨트롤러에도 적용이 가능하다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 예에 따른 이동 단말기의 후면부 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법의 개략적인 순서도이다.
도 2는 본 발명에서 손가락 영역을 검출하는 과정을 구체적으로 도시한 순서도이다.
도 3은 손가락 끝 영역을 검출하는 아다부스트 알고리즘의 분류기를 생성하기 위하여 사용하는 Positive 이미지와 Negative 이미지의 예이다.
도 4는 아다부스트 알고리즘을 사용하여 검출된 손가락 끝 영역을 도시하는 화면이다.
도 5는 3차원 좌표를 생성하기 위하여 이용하는 손가락 끝 영역의 변수를 도시한다.
도 6은 본 발명의 다른 일 예에 따른 후면부 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기의 구성을 개략적으로 도시한 블록도이다.
도 7은 본 발명의 또 다른 일 예에 따른 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기의 구성을 개략적으로 도시한 블록도이다.
도 8은 본 발명의 3차원 좌표 생성 방법 또는 3차원 좌표를 생성하는 이동 단말기를 통해 제어되는 3D 객체 및 화면을 도시한 예이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석되어야 할 것이며, 이러한 이유로 본 발명의 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기(100, 200)에 따른 구성부들의 구성은 본 발명의 목적을 달성할 수 있는 한도 내에서 도 6 또는 도 7과는 상이해질 수 있음을 명확히 밝혀둔다.
이하에서는 도면을 참조하면서 본 발명에 따른 단말기의 후면부 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법 및 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기에 관하여 구체적으로 설명하겠다.
도 1은 본 발명의 일 예에 따른 단말기의 후면부 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법의 개략적인 순서도이다. 본 발명의 단말기는 휴대폰, 태블릿 PC 등과 같은 이동 단말기뿐만 아니라 카메라가 장착된 다양한 단말기를 포함한다.
본 발명에 따른 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법은 (a) 단말기의 모노 카메라가 손가락 영역을 포함하는 타겟 영상을 획득하는 단계, (b) 단말기의 프로세서가 영상 처리 기술을 이용하여 타겟 영상에서 손가락 영역을 검출하는 단계, (c) 단말기의 프로세서가 손가락 영역에서 아다부스트 알고리즘을 이용하여 손가락 끝(fingertip) 영역을 검출하는 단계 및 (d) 단말기의 프로세서가 손가락 끝 영역을 이용하여 3차원 좌표값을 연산하는 단계를 포함한다.
타겟 영상은 카메라를 포함하는 영상 획득 장치를 통해 촬영된다. 단말기는 단말기에 내장되어 있는 카메라를 이용한다. 3차원 인터페이스는 실시간으로 3차원 좌표값이 입력되는 것이 일반적이므로 단말기의 디스플레이패널의 배면 방향(단말기의 후면부)에 설치된 카메라를 통해 타겟 영상을 획득하는 것이 바람직하다.
(b) 단계는 (ba) RGB 그레디언트 정보를 이용하여 타겟 영상에서 모폴로지컬 그레디언트 이미지(Morphological Gradient Image)를 검출하는 단계, (bb) YCbCr 컬러 정보를 이용하여 타겟 영상에서 배경을 제거한 손가락 이미지를 검출하는 단계 및 (bc) 모폴로지컬 그레디언트 이미지와 손가락 이미지를 결합하여 손가락 영역을 검출하는 단계를 포함한다.
도 2는 본 발명에서 손가락 영역을 검출하는 과정을 구체적으로 도시한 순서도이다.
(ba) 단계는 손가락 객체 검출에 필요한 그레디언트 성분을 강조하기 위해 일반 그레이(Gray) 영상에서 모폴로지컬 그레디언트가 아닌 R, G, B 각각의 3개 채널에서의 모폴로지컬 그레디언트의 최대값 픽셀만을 결합한다. 이를 MMGC (Maximum Morphological Gradient Combination) 이미지라고 하고 이에 대한 수식은 아래의 수학식 1과 같다.
Figure 112014020165384-pat00001
여기서, i 및 j는 픽셀 좌표를 의미하고, MGr는 R 채널에서 모폴로지컬 그레디언트가 최대인 픽셀, MGg는 G 채널에서 모폴로지컬 그레디언트가 최대인 픽셀, MGb는 B 채널에서 모폴로지컬 그레디언트가 최대인 픽셀을 의미한다.
(bb) 단계는 타겟 영상을 RGB 컬러 모델에서 YCbCr 컬러로 변환하는 단계, 타겟 영상에 피부색의 임계치를 적용하는 단계 및 침식 및 팽창 연산을 이용하여 노이즈를 제거하는 단계를 포함한다. (bb) 단계는 타겟 영상에서 손가락 부분만을 획득하기 위한 것이며, (bb) 단계에서 획득되는 이미지를 손가락 이미지라고 명명한다.
배경과 손가락 이미지를 분리하기 위한 피부색의 임계치(SkinColor)를 아래의 수학식 2와 같이 설정할 수 있다.
Figure 112014020165384-pat00002
임계치는 피부색에 따라 달라질 수 있으며 이러한 임계치 설정은 해당분야의 통상의 지식을 가진 자라면 누구나 할 수 있는 것이다.
이를 통해 검출된 피부색 영역은 이진 영상으로 변환(Skin color Segmentation)되고, 이후 침식(Erosion) 및 팽창(Dilation) 연산을 이용한 닫힘 연산(Closing Operation)을 통해 노이즈를 제거하게 된다. 노이즈 제거 단계에서 피부색을 포함한 영역 중 크기가 큰 부분은 제거되지 않는 현상이 발생할 수 있는데 이 경우 손가락 이미지를 제외한 다른 부분을 제거하기 위해 각 영역을 라벨링 한 후 손가락 이미지만 검출하게 된다. 최종적으로 배경이 제거된 손가락 이미지만 검출된다(Blob detection).
이후 (ba) 단계에서 MMGC를 수행한 이미지와 (bb) 단계에서 분리된 손가락 이미지를 (bc) 단계에서 AND 연산을 통해 결합하여 최종적인 손가락 영상을 획득하게 된다.
(c) 단계는 상기 손가락 영역에서 손가락 끝 영역을 검출한다. 손가락 영역은 타겟 영상에서 사용자의 손가락 전체를 의미하고, 손가락 끝 영역은 손가락 영역에서 좌표값 설정을 위한 기준이 되는 말단 영역을 의미한다. 본 발명에서 손가락 끝 영역은 아다부스트(AdaBoost(Adaptive Boosting)) 알고리즘을 사용하여 검출한다.
아다부스트 학습 알고리즘의 기본 개념은 약한 분류기(weak classifier)를 선형적으로 결합하여 최종적으로 높은 검출 성능을 가진 강한 분류기(strong classifier)를 생성하는 것이다.
아다부스트 알고리즘은 클래스의 샘플을 이용하여 약한 분류기를 반복적인 계산에 의해서 학습을 수행하고, 생성된 약한 분류기의 결합에 의해서 강한 분류기를 생성한다. 초기에는 모든 샘플에 대하여 동일한 가중치를 주고 약한 분류기를 학습시킨 후, 단계가 진행될수록 기초 분류기에서 올바르게 분류된 데이터에 대해서는 낮은 에러 가중치가 부과되고 올바르지 않게 분류된 데이터에 대해서는 높은 에러 가중치를 부과함으로써 약한 분류기의 성능을 높여가는 기법이다.
도 3은 손가락 끝 영역을 검출하는 아다부스트 알고리즘의 분류기를 생성하기 위하여 사용하는 Positive 이미지와 Negative 이미지의 예이다. positive 이미지는 손가락 끝 영역에 해당하는 이미지이고, negative 이미지는 손가락 끝 영역이 아닌 이미지이다. 반복적인 학습을 통해 최종적인 모델이 준비되는 것이다. 아다부트스 알고리즘 자체는 해당 분야의 통상의 지식을 가진자가 널리 알고 있는 것이므로 자세한 설명은 생략하기로 한다.
도 4는 아다부스트 알고리즘을 사용하여 검출된 손가락 끝 영역을 도시하는 화면이다. 도 4(a)에서 중앙 부위에 원형으로 표시된 부위가 손가락 끝 영역이다. 도 4(a)는 손가락이 카메라에 비교적 근거리에 위치한 경우이고, 도 4(b)는 손가락이 비교적 카메라와 먼 거리에 위치한 경우이다. 나아가 도 4(c)는 다른 배경을 갖는 화면에서 손가락 끝 영역이 검출되는 화면을 도시한다.
도 5는 3차원 좌표를 생성하기 위하여 이용하는 손가락 끝 영역의 변수를 도시한다. 도 5에서 중앙의 사각형 박스로 도시된 영역이 손가락 끝 영역에 해당한다. 원형으로 표시된 사각박스 좌측 상단의 모서리를 손가락 끝 영역의 시작점이라고 한다. ①은 손가락 끝 영역의 시작점 y좌표값(y축 길이)을 의미한다. 타겟 영상에서 손가락 끝 영역이 y축으로 어떤 좌표에 위치하는지 기산하기 위한 기준이 된다. ②는 손가락 끝 영역의 시작점 x 좌표값(x축 길이)을 의미한다. ③은 손가락 끝 영역의 높이(Height)를 의미하고, ④는 손가락 끝 영역의 너비(Width)를 의미한다. 도 5에서는 사각박스의 중앙위치(삼각형 표시)를 3차원 좌표값 측정을 위한 기준으로 삼았다.
(d) 단계는 손가락 끝 영역의 시작점 x좌표(Finger Region.x), 손가락 끝 영역의 시작점 y 좌표값(Finger Region.y), 손가락 끝 영역의 너비(Finger Width), 손가락 끝 영역의 높이(Finger Height)를 이용하여 3차원 좌표값을 연산한다.
3차원 좌표값 중 x 좌표값(Finger Point(x))은 아래의 수학식 3으로 연산된다.
Figure 112014020165384-pat00003
FingerRegion.x는 입력된 영상에서의 검출된 손가락 영역의 시작점 x좌표이고, FingerWidth는 검출된 영역의 너비다. 우선 손가락 영역의 너비(FingerWidth)를 2로 나누어서 손가락 영역 중간을 설정한 후 손가락 영역의 시작점 x좌표(FingerRegion.x)를 더해서 입력 영상에서 손가락 포인터의 X좌표를 설정하게 된다.
3차원 좌표값 중 y 좌표값(Finger Point(y))은 아래의 수학식 4로 연산된다.
Figure 112014020165384-pat00004
FingerRegion.y는 입력된 영상에서의 검출된 손가락 영역의 시작점 y좌표이고, FingerWidth는 검출된 영역의 높이다. 우선 손가락 영역의 높이(FingerHeight)를 2로 나누어서 손가락 영역 중간을 설정한 후 손가락 영역의 시작점 y좌표(FingerRegion.y)를 더해서 입력 영상에서 손가락 포인터의 Y좌표를 설정하게 된다.
3차원 좌표값 중 z 좌표값은 아래의 수학식 5로 연산되는 모노 카메라와 손가락의 거리(FingertoCameraDistance)를 이용하여 설정된다. 카메라와 손가락의 거리는 손가락 끝 영역의 면적을 이용하여 추정한다. 기준이 되는 거리에서의 면적과 현재 카메라를 통해 입력되는 손가락 끝 영역의 면적을 비교하여 카메라와 손가락의 거리를 추정할 수 있는 것이다.
Figure 112014020165384-pat00005
finger width는 사용자의 실제 손가락 너비이고, preview width는 모노 카메라로 입력되는 영상의 너비 픽셀 값이다. finger width는 정확하게는 실제 사용자의 손가락 끝 영역의 너비이고, pixel distance of finger width는 영상에서 손가락 끝 영역의 너비가 차지하는 픽셀값(픽셀 너비)이다. 나아가 finger width는 특정 사용자가 아닌 사람의 평균적인 손가락 끝 영역의 너비를 이용할 수도 있다. finger width는 단말기의 후면부 카메라를 이용하는 경우 보통 검지를 이용하여 객체를 제어하기 때문에 검지의 평균 너비 값을 이용할 수도 있다.
FOV(Field of View)는 카메라에서 특정 지점(손가락 끝 영역)을 관측할 때 나타나는 범위 시야를 각도로 표현한 것이다. 상기 수학식 5를 이용하여 카메라와 손가락의 거리가 측정되면, 손가락이 위치한 z 좌표의 상대적 위치를 파악할 수 있다.
본 발명에서는 손가락 끝 영역의 시작점을 사각 블록의 좌측 상단 모서리로 설정하고 3차원 좌표를 연산한 것이나, 다른 위치의 시작점을 이용할 수도 있고, 좌표의 기준이 되는 지점을 손가락 끝 영역의 중심이 아닌 다른 지점을 이용할 수도 있음은 자명하다.
본 발명의 다른 측면으로서, 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기(100)는 손가락 영역을 포함하는 타겟 영상을 획득하는 모노 카메라(110), 영상 처리 기술을 이용하여 타겟 영상에서 손가락 영역을 검출하는 손가락 영역 검출 모듈(120), 손가락 영역에서 아다부스트 알고리즘을 이용하여 손가락 끝 영역을 검출하는 손가락 끝 영역 검출 모듈(130) 및 손가락 끝 영역을 이용하여 3차원 좌표값을 연산하는 3 차원 좌표 연산 모듈(140)을 포함한다.
도 6에 추가로 도시된 인터페이스 입력 모듈(150)은 3차원 좌표 연산 모듈(140)을 통해 연산된 최종 3차원 좌표를 전달받는 모듈을 의미한다. 인터페이스 입력 모듈(150)에 전달되는 좌표는 이동 단말기 또는 이동 단말기에서 구동되는 애플리케이션에서 특정 객체를 제어하기 위한 입력으로 사용된다.
도 6은 본 발명의 다른 일 예에 따른 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기의 구성을 개략적으로 도시한 블록도이다. 전술한 이동 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법과 중복되는 내용은 간략하게 설명한다.
손가락 영역 검출 모듈(120)은 RGB 그레디언트 정보를 이용하여 타겟 영상에서 모폴로지컬 그레디언트 이미지를 검출하고, YCbCr 컬러 정보를 이용하여 타겟 영상에서 배경을 제거한 손가락 이미지를 검출하고, 모폴로지컬 그레디언트 이미지와 손가락 이미지를 결합하여 손가락 영역을 검출한다.
손가락 영역 검출 모듈(120)은 (1) R, G 및 B 각각의 채널에서 모폴로지컬 그레디언트의 최대값 픽셀만을 결합하여 모폴로지컬 그레디언트 이미지를 검출하고, (2) 타겟 영상을 RGB 컬러 모델에서 YCbCr 컬러로 변환하고, 타겟 영상에 피부색의 임계치를 적용하고, 침식 및 팽창 연산을 통해 노이즈를 제거하여 손가락 이미지를 검출하고, (3) 검출된 모폴로지컬 그레디언트 이미지와 손가락 이미지를 결합하여 최종 손가락 영역을 검출한다.
3 차원 좌표 연산 모듈(130)은 손가락 끝 영역의 시작점 x좌표(Finger Region.x), 손가락 끝 영역의 시작점 y 좌표값(Finger Region.y), 손가락 끝 영역의 너비(Finger Width), 손가락 끝 영역의 높이(Finger Height)를 이용하여 3차원 좌표값을 연산한다.
도 7은 본 발명의 또 다른 일 예에 따른 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기(200)의 구성을 개략적으로 도시한 블록도이다. 도 6과 다른 점은 각 구성을 별개의 모듈로 구성하지 않고, 소프트웨어적으로 3차원 좌표 연산이 수행되는 구조를 도시한 것이다.
도 7에 따른 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기(200)는 손가락 영역을 포함하는 타겟 영상을 획득하는 모노 카메라(210), 영상 처리 기술을 이용하여 타겟 영상에서 손가락 영역을 검출하는 손가락 영역 검출 코드, 손가락 영역에서 아다부스트 알고리즘을 이용하여 손가락 끝 영역을 검출하는 손가락 끝 영역 검출 코드 및 손가락 끝 영역을 이용하여 3차원 좌표값을 연산하는 3 차원 좌표 연산 코드가 저장된 메모리(220) 및 메모리에 저장된 손가락 영역 검출 코드를 실행하여 모노 카메라에서 획득하는 타겟 영상에서 손가락 영역을 검출하고, 메모리에 저장된 손가락 영역 검출 코드를 실행하여 손가락 영역에서 손가락 끝 영역을 검출하고, 메모리에 저장된 3차원 좌표 연산 코드를 실행하여 3차원 좌표값을 연산하는 프로세서(230)를 포함한다.
데이터 전송 수단(240)은 프로세서에서 생성된 3차원 좌표를 전달하는 수단을 도시한 것이다. 한편 3차원 좌표는 특정한 애플리케이션 등에 곧바로 사용될 수 있으므로, 별도의 전송 수단이 필요 없을 수도 있다.
도 7은 이동 단말기(200)에서 실행되는 애플리케이션 또는 소프트웨어를 통해 3차원 좌표값을 생성하는 실시예이다.
손가락 영역 검출 코드가 실행되는 프로세서(230)는 손가락 영역 검출 코드를 실행하여 RGB 그레디언트 정보를 이용하여 타겟 영상에서 모폴로지컬 그레디언트 이미지를 검출하고, YCbCr 컬러 정보를 이용하여 타겟 영상에서 배경을 제거한 손가락 이미지를 검출하고, 모폴로지컬 그레디언트 이미지와 손가락 이미지를 결합하여 손가락 영역을 검출한다.
3 차원 좌표 연산 코드가 실행되는 프로세서(230)는 손가락 끝 영역의 시작점 x좌표(Finger Region.x), 손가락 끝 영역의 시작점 y 좌표값(Finger Region.y), 손가락 끝 영역의 너비(Finger Width), 손가락 끝 영역의 높이(Finger Height)를 이용하여 3차원 좌표값을 연산한다.
프로세서(230)는 손가락 끝 영역의 시작점 x 좌표를 이용하여 3차원 좌표값 중 x 좌표값을 연산하고, 손가락 끝 영역의 시작점 y 좌표를 이용하여 3차원 좌표값 중 y 좌표값을 연산하고, 손가락 끝 영역의 너비, 높이 또는 면적 중 어느 하나 이상의 변경을 기준으로 모노 카메라(210)와 손가락의 거리를 연산하여 3차원 좌표값 중 z 좌표값을 설정한다.
도 8은 본 발명의 3차원 좌표 생성 방법 또는 3차원 좌표를 생성하는 이동 단말기를 통해 제어되는 3D 객체 및 화면을 도시한 예이다. 도 8(a)는 3차원 인터페이스를 입력받아 이동시키기 위한 객체(정육면체 박스 형태)를 도시하고, 도 8(b) 및 도 8(c)는 3차원 공간에서 도 8(a)에 도시된 객체가 이동하는 화면을 도시한다. 실제 발명자가 본 발명을 적용한 애플리케이션을 개발하여 객체를 제어하는 화면이다.
본 발명에 따른 이동 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법 또는 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기의 효과를 실험하였다.
아다부스트 알고리즘에 대한 검출기 훈련에 있어 positive 이미지는 2240장, negative 이미지는 4500장을 사용하였고 검출기 단계는 총 13단계, 검출기 사이즈는 20x10으로 설정하였다.
첫 번째 실험은 X, Y좌표 값으로 사용되는 손가락 좌표 기준(손가락 끝 영역의 중심점)의 검출 성능을 평가하였고, 두 번째 실험은 Z좌표 값으로 사용되는 손가락 면적을 이용한 거리 추정 성능을 평가하였다.
손가락 검출의 성능 평가를 위하여 아래의 표 1과 같은 5가지 단계의 조도 상태를 결정하여 실험을 진행하였다.
Figure 112014020165384-pat00006
복잡한 배경에서 각각의 조도에 따라 검출성능을 평가하여 아래의 표 2에 나타내었다.
Figure 112014020165384-pat00007
각각의 상태에서 100장의 이미지, 즉 총 500장의 이미지를 테스트한 결과 복잡한 배경에서의 손가락 검출율은 96%가 나타났다. 즉, 3차원 좌표값 생성을 위한 기준점 검출율이 매우 높다는 것을 알 수 있다.
손가락 면적을 이용한 거리 추정의 성능을 평가하기 위하여 아래의 표 3과 같이 0.5cm ~ 5cm까지 0.5cm마다 각 거리 당 100프레임씩 추정하여 그 오차율을 계산하였다.
Figure 112014020165384-pat00008
거리 추정의 평균 오차율은 2.44%로 나타났다. 따라서 손가락 면적을 이용하여 z 좌표값을 설정하는 것도 매우 정확하다는 것을 알 수 있다.
본 실시예 및 본 명세서에 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 본 발명의 권리범위에 포함되는 것이 자명하다고 할 것이다.
100 : 이동 단말기 110 : 모노 카메라
120 : 손가락 영역 검출 모듈 130 : 손가락 끝 영역 검출 모듈
140 : 3차원 좌표 연산 모듈 150 : 인터페이스 입력 모듈
200 : 이동 단말기 210 : 모노 카메라
220 : 메모리 230 : 프로세서
240 : 데이터 전송 수단

Claims (18)

  1. (a) 단말기의 모노 카메라가 손가락 영역을 포함하는 타겟 영상을 획득하는 단계;
    (b) 단말기의 프로세서가 영상 처리 기술을 이용하여 상기 타겟 영상에서 상기 손가락 영역을 검출하는 단계;
    (c) 단말기의 프로세서가 상기 손가락 영역에서 아다부스트 알고리즘을 이용하여 손가락 끝 영역을 검출하는 단계; 및
    (d) 단말기의 프로세서가 상기 손가락 끝 영역을 이용하여 3차원 좌표값을 연산하는 단계를 포함하되,
    상기 (d) 단계는 손가락 끝 영역의 기준점의 x좌표(Finger Region.x)를 이용하여 상기 3차원 좌표값 중 x좌표값을 연산하고, 상기 기준점의 y 좌표(Finger Region.y)를 이용하여 상기 3차원 좌표값 중 y좌표값을 연산하고,
    상기 손가락 끝 영역의 너비(Finger Width)를 이용하여 상기 3차원 좌표값 중 z좌표값을 연산하고,
    상기 3차원 좌표값 중 z 좌표값은 아래의 수식으로 연산되는 상기 모노 카메라와 손가락의 거리(FingertoCameraDistance)를 이용하여 설정되는 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법.
    Figure 112014020165384-pat00009

    (여기서, finger width는 사용자의 실제 손가락 너비, preview width는 상기 타겟 영상의 너비 픽셀 값, pixel distandce of finger width는 상기 타겟 영상에서 상기 손가락 끝 영역의 너비 픽셀값, FOV는 카메라의 시야각임)
  2. 제1항에 있어서,
    상기 (b) 단계는
    (ba) RGB 그레디언트 정보를 이용하여 상기 타겟 영상에서 모폴로지컬 그레디언트 이미지를 검출하는 단계;
    (bb) YCbCr 컬러 정보를 이용하여 상기 타겟 영상에서 배경을 제거한 손가락 이미지를 검출하는 단계; 및
    (bc) 상기 모폴로지컬 그레디언트 이미지와 상기 손가락 이미지를 결합하여 손가락 영역을 검출하는 단계를 포함하는 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법.
  3. 제2항에 있어서,
    상기 (ba) 단계는 아래의 수식과 같이 R, G 및 B 각각의 채널에서 모폴로지컬 그레디언트의 최대값 픽셀만을 결합하여 수행되는 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법.
    Figure 112014020165384-pat00010

    (여기서, i 및 j는 픽셀의 좌표를 의미하고, MGr는 R 채널에서 모폴로지컬 그레디언트가 최대인 픽셀, MGg는 G 채널에서 모폴로지컬 그레디언트가 최대인 픽셀, MGb는 B 채널에서 모폴로지컬 그레디언트가 최대인 픽셀임)
  4. 제2항에 있어서,
    상기 (bb) 단계는
    상기 타겟 영상을 RGB 컬러 모델에서 YCbCr 컬러로 변환하는 단계;
    상기 타겟 영상에 피부색의 임계치를 적용하는 단계; 및
    침식 및 팽창 연산을 이용하여 노이즈를 제거하는 단계를 포함하는 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법.
  5. 제1항에 있어서,
    상기 3차원 좌표값 중 x 좌표값(Finger Point(x))은 아래의 수식으로 연산되는 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법.
    Figure 112014020165384-pat00011
  6. 제1항에 있어서,
    상기 3차원 좌표값 중 y 좌표값(Finger Point(y))은 아래의 수식으로 연산되는 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법.
    Figure 112014020165384-pat00012
  7. 손가락 영역을 포함하는 타겟 영상을 획득하는 모노 카메라;
    영상 처리 기술을 이용하여 상기 타겟 영상에서 상기 손가락 영역을 검출하는 손가락 영역 검출 모듈;
    상기 손가락 영역에서 아다부스트 알고리즘을 이용하여 손가락 끝 영역을 검출하는 손가락 끝 영역 검출 모듈; 및
    상기 손가락 끝 영역을 이용하여 3차원 좌표값을 연산하는 3 차원 좌표 연산 모듈을 포함하되,
    상기 손가락 영역 검출 모듈은 RGB 그레디언트 정보를 이용하여 상기 타겟 영상에서 모폴로지컬 그레디언트 이미지를 검출하고, YCbCr 컬러 정보를 이용하여 상기 타겟 영상에서 배경을 제거한 손가락 이미지를 검출하고, 상기 모폴로지컬 그레디언트 이미지와 상기 손가락 이미지를 결합하여 손가락 영역을 검출하는 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기.
  8. 제7항에 있어서,
    상기 손가락 영역 검출 모듈은 아래의 수식과 같이 R, G 및 B 각각의 채널에서 모폴로지컬 그레디언트의 최대값 픽셀만을 결합하여 모폴로지컬 그레디언트 이미지를 검출하는 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기.
    Figure 112014020165384-pat00013

    (여기서, i 및 j는 픽셀의 좌표를 의미하고, MGr는 R 채널에서 모폴로지컬 그레디언트가 최대인 픽셀, MGg는 G 채널에서 모폴로지컬 그레디언트가 최대인 픽셀, MGb는 B 채널에서 모폴로지컬 그레디언트가 최대인 픽셀임)
  9. 제7항에 있어서,
    상기 손가락 영역 검출 모듈은
    상기 타겟 영상을 RGB 컬러 모델에서 YCbCr 컬러로 변환하고, 상기 타겟 영상에 피부색의 임계치를 적용하고, 침식 및 팽창 연산을 통해 노이즈를 제거하여 상기 손가락 이미지를 검출하는 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기.
  10. 제7항에 있어서,
    상기 3 차원 좌표 연산 모듈은
    손가락 끝 영역의 기준점의 x좌표(Finger Region.x)를 이용하여 상기 3차원 좌표값 중 x좌표값을 연산하고, 상기 기준점의 y 좌표(Finger Region.y)를 이용하여 상기 3차원 좌표값 중 y좌표값을 연산하고,
    상기 손가락 끝 영역의 너비(Finger Width) 또는 손가락 끝 영역의 높이(Finger Height)를 이용하여 상기 3차원 좌표값 중 z좌표값을 연산하는 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기.
  11. 제10항에 있어서,
    상기 3차원 좌표값 중 x 좌표값(Finger Point(x))은 아래의 수식으로 연산되는 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기.
    Figure 112014020165384-pat00014
  12. 제10항에 있어서,
    상기 3차원 좌표값 중 y 좌표값(Finger Point(y))은 아래의 수식으로 연산되는 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기.
    Figure 112014020165384-pat00015
  13. 제10항에 있어서,
    상기 3차원 좌표값 중 z 좌표값은 아래의 수식으로 연산되는 상기 모노 카메라와 손가락의 거리(FingertoCameraDistance)를 이용하여 설정되는 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기.
    Figure 112014020165384-pat00016

    (여기서, finger width는 사용자의 실제 손가락 너비, preview width는 상기 타겟 영상의 너비 픽셀 값, pixel distandce of finger width는 상기 타겟 영상에서 상기 손가락 끝 영역의 너비 픽셀값, FOV는 카메라의 시야각임)
  14. 손가락 영역을 포함하는 타겟 영상을 획득하는 모노 카메라;
    영상 처리 기술을 이용하여 상기 타겟 영상에서 상기 손가락 영역을 검출하는 손가락 영역 검출 코드, 상기 손가락 영역에서 아다부스트 알고리즘을 이용하여 손가락 끝 영역을 검출하는 손가락 끝 영역 검출 코드 및 상기 손가락 끝 영역의 일 방향 길이를 이용하여 3차원 좌표값을 연산하는 3 차원 좌표 연산 코드가 저장된 메모리; 및
    상기 메모리에 저장된 손가락 영역 검출 코드를 실행하여 상기 모노 카메라에서 획득하는 타겟 영상에서 상기 손가락 영역을 검출하고, 상기 메모리에 저장된 손가락 영역 검출 코드를 실행하여 상기 손가락 영역에서 상기 손가락 끝 영역을 검출하고, 상기 메모리에 저장된 3 차원 좌표 연산 코드를 실행하여 3차원 좌표값을 연산하는 프로세서를 포함하되,
    상기 손가락 영역 검출 코드가 실행되는 상기 프로세서는 상기 손가락 영역 검출 코드를 실행하여 RGB 그레디언트 정보를 이용하여 상기 타겟 영상에서 모폴로지컬 그레디언트 이미지를 검출하고, YCbCr 컬러 정보를 이용하여 상기 타겟 영상에서 배경을 제거한 손가락 이미지를 검출하고, 상기 모폴로지컬 그레디언트 이미지와 상기 손가락 이미지를 결합하여 손가락 영역을 검출하는 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기.
  15. 제14항에 있어서,
    상기 3 차원 좌표 연산 코드가 실행되는 상기 프로세서는
    손가락 끝 영역의 기준점의 x좌표(Finger Region.x)를 이용하여 상기 3차원 좌표값 중 x좌표값을 연산하고, 상기 기준점의 y 좌표(Finger Region.y)를 이용하여 상기 3차원 좌표값 중 y좌표값을 연산하고,
    상기 손가락 끝 영역의 너비(Finger Width), 손가락 끝 영역의 높이(Finger Height) 또는 상기 손가락 끝 영역의 면적 중 적어도 하나를 이용하여 상기 3차원 좌표값 중 z좌표값을 연산하는 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기.
  16. 제15항에 있어서,
    상기 프로세서는 상기 손가락 끝 영역의 시작점 x 좌표를 이용하여 상기 3차원 좌표값 중 x 좌표값을 연산하는 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기.
  17. 제15항에 있어서,
    상기 프로세서는 상기 손가락 끝 영역의 시작점 y 좌표를 이용하여 상기 3차원 좌표값 중 y 좌표값을 연산하는 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기.
  18. 제14항에 있어서,
    상기 프로세서는 상기 손가락 끝 영역의 너비, 높이 또는 면적 중 어느 하나 이상의 변경을 기준으로 상기 모노 카메라와 상기 손가락의 거리를 연산하여 상기 3차원 좌표값 중 z 좌표값을 설정하는 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기.
KR1020140024189A 2014-02-28 2014-02-28 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법 및 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기 KR101396098B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140024189A KR101396098B1 (ko) 2014-02-28 2014-02-28 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법 및 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140024189A KR101396098B1 (ko) 2014-02-28 2014-02-28 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법 및 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020120086092A Division KR20140019950A (ko) 2012-08-07 2012-08-07 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법 및 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기

Publications (2)

Publication Number Publication Date
KR20140043771A KR20140043771A (ko) 2014-04-10
KR101396098B1 true KR101396098B1 (ko) 2014-05-15

Family

ID=50652091

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140024189A KR101396098B1 (ko) 2014-02-28 2014-02-28 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법 및 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기

Country Status (1)

Country Link
KR (1) KR101396098B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101096807B1 (ko) * 2010-01-29 2011-12-22 주식회사 팬택 3차원 위치 정보 획득 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101096807B1 (ko) * 2010-01-29 2011-12-22 주식회사 팬택 3차원 위치 정보 획득 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
김장운, 김송국, 홍석주, 장한별, 이칠우, "HLF(Haar-like Feature)를 이용한 실시간 손 포즈 인식", 한국HCI학회 2007년도 학술대회 1부, p.897-902, 2007년 2월. *

Also Published As

Publication number Publication date
KR20140043771A (ko) 2014-04-10

Similar Documents

Publication Publication Date Title
Memo et al. Head-mounted gesture controlled interface for human-computer interaction
KR20140019950A (ko) 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법 및 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기
Kulshreshth et al. Poster: Real-time markerless kinect based finger tracking and hand gesture recognition for HCI
KR101612605B1 (ko) 얼굴 특징점 추출 방법 및 이를 수행하는 장치
US10803604B1 (en) Layered motion representation and extraction in monocular still camera videos
KR20170036747A (ko) 장면 내 키포인트를 추적하기 위한 방법
JP2018113021A (ja) 情報処理装置およびその制御方法、プログラム
Jiang et al. independent hand gesture recognition with Kinect
KR101465894B1 (ko) 손가락에 부착한 마커를 이용하여 제어 명령을 생성하는 이동 단말 및 손가락에 부착한 마커를 이용하여 단말에서 제어 명령을 생성하는 방법
CN111354029A (zh) 手势深度确定方法、装置、设备及存储介质
JP2009211563A (ja) 画像認識装置、画像認識方法、画像認識プログラム、ジェスチャ動作認識システム、ジェスチャ動作認識方法、及びジェスチャ動作認識プログラム
Akman et al. Multi-cue hand detection and tracking for a head-mounted augmented reality system
Fujishima et al. Fingernail Detection Method from Hand Images including Palm.
KR101491413B1 (ko) 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법 및 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기
KR101909326B1 (ko) 얼굴 모션 변화에 따른 삼각 매쉬 모델을 활용하는 사용자 인터페이스 제어 방법 및 시스템
KR101396098B1 (ko) 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법 및 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기
KR101382806B1 (ko) 단말기의 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법 및 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기
Hannuksela et al. Face tracking for spatially aware mobile user interfaces
Domhof et al. Multimodal joint visual attention model for natural human-robot interaction in domestic environments
KR101844367B1 (ko) 부분 포즈 추정에 의하여 개략적인 전체 초기설정을 사용하는 머리 포즈 추정 방법 및 장치
KR101465896B1 (ko) 전면부 카메라 및 후면부 카메라를 이용하여 제어 명령을 생성하는 이동 단말
KR20130081126A (ko) 손 제스처 인식 방법 및 그 장치
Lee et al. Initializing markerless tracking using a simple hand gesture
CN111368675A (zh) 手势深度信息的处理方法、装置、设备及存储介质
Xie et al. Hand posture recognition using kinect

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170329

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180508

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee