KR101985674B1 - 비접촉식 사용자 인터페이스 동작 인식 방법 및 그 장치 - Google Patents

비접촉식 사용자 인터페이스 동작 인식 방법 및 그 장치 Download PDF

Info

Publication number
KR101985674B1
KR101985674B1 KR1020120103508A KR20120103508A KR101985674B1 KR 101985674 B1 KR101985674 B1 KR 101985674B1 KR 1020120103508 A KR1020120103508 A KR 1020120103508A KR 20120103508 A KR20120103508 A KR 20120103508A KR 101985674 B1 KR101985674 B1 KR 101985674B1
Authority
KR
South Korea
Prior art keywords
image
distance
calculating
information
temperature
Prior art date
Application number
KR1020120103508A
Other languages
English (en)
Other versions
KR20140036859A (ko
Inventor
공명석
박현우
신택균
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020120103508A priority Critical patent/KR101985674B1/ko
Priority to DE102013110208.5A priority patent/DE102013110208A1/de
Priority to CN201310429100.1A priority patent/CN103677260B/zh
Priority to US14/030,099 priority patent/US9207779B2/en
Publication of KR20140036859A publication Critical patent/KR20140036859A/ko
Application granted granted Critical
Publication of KR101985674B1 publication Critical patent/KR101985674B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

비접촉식 사용자 인터페이스 동작 인식 방법 및 그 장치가 개시된다. 본 발명의 비접촉식 사용자 인터페이스 동작 인식 장치는 제1 이미지 센서와 제2 이미지 센서를 포함하며, 대상물을 촬영하는 3차원 스테레오스코픽 카메라; 상기 제1 이미지 센서로부터 생성된 제1 영상과 상기 제2 이미지 센서로부터 생성된 제2 영상으로부터 시차맵을 생성하는 시차맵 산출기; 상기 시차맵으로부터 상기 대상물의 위치 및 밝기 정보를 추출하는 위치 및 밝기 검출기; 상기 밝기 정보로부터 대상물 거리 정보를 산출하고 상기 거리 정보 및 상기 위치를 이용하여 상기 대상물의 3차원 좌표를 산출하는 거리 변환기; 상기 3차원 좌표로부터 속도를 산출하는 속도 산출기; 및 상기 3차원 좌표 및 속도로부터 상기 대상물의 사용자 인터페이스(UI: User Interface) 패턴을 판별하는 패턴 판별부를 포함한다.

Description

비접촉식 사용자 인터페이스 동작 인식 방법 및 그 장치{Method of recognizing contactless user interface motion and System there-of}
본 발명의 개념에 따른 실시 예는 전자 장치에 관한 것으로서, 보다 상세하게는 전자 장치에서의 사용자 인터페이스 처리 기술에 관한 것이다.
모바일 기기의 사용이 보편화되면서, 모바일 기기에서의 사용자 인터페이스의 인식 및 처리에 관한 연구도 다양해지고 있다.
통상의 모바일 기기의 사용자 인터페이스(UI: user interface) 방식은 대부분 터치스크린 방식을 사용한다. 터치스크린 방식은 손가락(Finger)를 스크린에 접촉하여 사용하는 UI 장치로 비교적 정확한 위치 인식과 최근의 멀티 터치 기능을 통해 다양한 UI를 제공할 수 있다.
하지만 터치 스크린의 접촉식 UI 방식은 2차원의 평면에서 동작하는 방식이기 때문에 UI의 다양한 표현을 제공하는데 있어서 한계점을 가지고 있다. 또한, 사용자가 접촉식 방식으로 모바일 기기 사용시에 사용자의 다양한 몸 위치에 따라 동작의 편리성을 제공해야 하지만, 터치 동작을 수행할 때 때때로 사용자 편리성에 제약을 주어 동작의 불편감을 줄 수 있다.
본 발명이 이루고자 하는 기술적인 과제는 접촉식 사용자 인터페이스 방식의 한계를 넘어 다양한 사용자 인터페이스를 제공하고 사용자 편리성을 높일 수 있는 비접촉식 사용자 인터페이스 인식 방법 및 그 장치를 제공하는 것이다.
본 발명의 실시 예에 따른 비접촉식 사용자 인터페이스 인식 장치는 제1 이미지 센서와 제2 이미지 센서를 포함하며, 대상물을 촬영하는 3차원 스테레오스코픽 카메라; 상기 제1 이미지 센서로부터 생성된 제1 영상과 상기 제2 이미지 센서로부터 생성된 제2 영상으로부터 시차맵을 생성하는 시차맵 산출기; 상기 시차맵으로부터 상기 대상물의 위치 및 밝기 정보를 추출하는 위치 및 밝기 검출기; 상기 밝기 정보로부터 대상물 거리 정보를 산출하고 상기 거리 정보 및 상기 위치를 이용하여 상기 대상물의 3차원 좌표를 산출하는 거리 변환기; 상기 3차원 좌표로부터 속도를 산출하는 속도 산출기; 및 상기 3차원 좌표 및 속도로부터 상기 대상물의 사용자 인터페이스(UI: User Interface) 패턴을 판별하는 패턴 판별부를 포함한다.
상기 비접촉식 사용자 인터페이스 인식 장치는 상기 제1 영상과 상기 제2 영상을 가공 및 처리하는 이미지 신호 처리기: 및 상기 이미지 신호 처리기에 의해 처리된 제1 영상 및 제2 영상을 저장하는 메모리를 더 구비할 수 있다.
상기 시차맵 산출기는 상기 제1 영상과 상기 제2 영상의 매칭을 통해 상기 제1 및 제2 영상 간의 거리차(Disparity, 시차)를 산출하고 상기 산출된 거리차를 밝기 정보로 변환하여 상기 시차맵을 생성할 수 있다.
상기 위치 및 밝기 검출기는 상기 대상물의 끝단을 감지하여 상기 위치를 산출하고, 상기 산출된 위치의 밝기 정보를 산출하며, 상기 대상물의 끝단은 상기 시차맵에서 가장 밝은 부분에 해당할 수 있다.
상기 비접촉식 사용자 인터페이스 인식 장치는 상기 위치에 상응하는 픽셀 그룹의 색 정보로부터 상기 대상물이 손가락인지를 검출하는 패턴 검출기를 더 구비할 수 있다.
상기 비접촉식 사용자 인터페이스 인식 장치는 주변 온도를 측정하는 온도 센서: 및 상기 측정된 온도를 상기 대상물의 거리 정보로 변환하는 온도-거리 변환기를 더 구비하며, 상기 패턴 판별부는 상기 3차원 좌표, 속도 및 상기 온도-거리 변환기에서 출력되는 온도 기반 거리 정보를 이용하여 상기 UI 패턴을 판별할 수 있다.
본 발명의 실시 예에 따른 비접촉식 사용자 인터페이스 인식 방법은 3차원 스테레오스코픽 카메라를 이용하여 대상물을 촬영함으로써 제1 영상과 제2 영상을 생성하는 단계; 상기 제1 영상과 상기 제2 영상으로부터 상기 대상물의 거리 변화(카메라 기반 거리 변화)를 검출하는 단계; 센서를 이용하여 센싱값을 측정하는 단계; 상기 센싱값으로부터 상기 센싱값의 변화량를 검출하는 단계; 및 상기 카메라 기반 거리 변화 및 상기 센싱값의 변화량을를 이용하여 상기 대상물의 사용자 인터페이스(UI: User Interface) 패턴을 판별하는 단계를 포함한다.
상기 카메라 기반 거리 변화를 검출하는 단계는 상기 제1 영상과 상기 제2 영상간의 시차맵을 산출하는 단계; 상기 시차맵으로부터 상기 대상물의 위치 및 밝기 정보를 추출하는 단계; 상기 밝기 정보로부터 상기 대상물의 거리 정보를 산출하고 상기 거리 정보 및 상기 위치를 이용하여 상기 대상물의 3차원 좌표를 산출하는 단계; 및 상기 3차원 좌표로부터 속도를 산출하는 단계를 포함할 수 있다.
상기 온도 기반 거리 변화를 검출하는 단계는 상기 측정된 온도를 상기 대상물의 거리 정보로 변환하는 단계; 및 상기 온도 기반 거리 정보의 변화량을 산출하여 온도 기반 속도를 생성하는 단계를 포함할 수 있다.
본 발명의 실시 예들에 따른 장치와 그 방법에 따르면, 다양한 사용자 인터페이스를 제공하고 사용자 편리성을 높일 수 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 실시예에 따른 비접촉식 사용자 인터페이스(UI) 동작 인식 장치를 개략적으로 나타내는 사시도이다.
도 2는 본 발명의 일 실시예에 따른 비접촉식 UI 동작 인식 장치의 구성 블록도이다.
도 3은 도 2에 도시된 영상 및 시차맵을 나타내는 도면이다.
도 4는 도 2에 도시된 비접촉식 UI 동작 인식 방법을 나타내는 흐름도이다.
도 5는 비접촉식 UI 동작의 일 예를 나타내는 도면이다.
도 6은 도 5에 도시된 비접촉식 UI 동작에 따른 비접촉식 UI 동작 인식 장치의 동작을 설명하기 위한 도면이다.
도 7은 본 발명의 다른 실시예에 따른 비접촉식 UI 동작 인식 장치를 개략적으로 나타내는 사시도이다.
도 8은 본 발명의 다른 실시예에 따른 비접촉식 UI 동작 인식 장치의 구성 블록도이다.
도 9는 본 발명의 다른 실시예에 따른 비접촉식 UI 동작 인식 방법을 나타내는 흐름도이다.
도 10은 비접촉식 UI 동작의 일 예를 나타내는 도면이다.
도 11은 도 10에 도시된 비접촉식 UI 동작에 따른 비접촉식 UI 동작 인식 장치의 동작을 설명하기 위한 도면이다.
도 12는 본 발명의 또 다른 실시예에 따른 비접촉식 사용자 인터페이스 인식 장치의 구성 블록도이다.
도 13은 도 12에 도시된 본 발명의 또 따른 실시예에 따른 비접촉식 UI 동작 인식 장치의 동작을 설명하기 위한 도면이다.
도 14는 본 발명의 일 실시예에 따른 비접촉식 사용자 인터페이스 인식 시스템의 구성 블록도이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1구성 요소는 제2구성 요소로 명명될 수 있고 유사하게 제2구성 요소는 제1구성 요소로도 명명될 수 있다.
어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 비접촉식 사용자 인터페이스(UI) 동작 인식 장치를 개략적으로 나타내는 사시도이다. 비접촉식 UI 동작 인식 장치(100A)는 모바일 기기, 스마트폰, PDA(personal digital assistant), 디지털 카메라, 디지컬 카메라가 부착된 모바일 기기, PMP(portable multimedia player), 노트북, 태블릿 PC 등일 수 있으나, 이에 한정되는 것은 아니다.
도 1을 참조하면, 비접촉식 UI 동작 인식 장치(100A)는 스테레오스코픽 카메라(110) 및 스크린(120)을 포함한다.
스테레오스코픽 카메라(110)는 3차원 영상을 촬영하기 위한 입체 카메라의 일종이다. 스테레오스코픽 카메라(110)는 두 개의 카메라, 즉 좌안에 해당하는 카메라와 우안에 해당하는 카메라를 가진다.
스테레오 카메라(110)는 손가락의 상하좌우 움직임뿐만 아니라 거리(depth) 움직임을 포착하여 사용자 인터페이스(UI: user interface) 동작을 인식할 수 있다.
도 2는 본 발명의 일 실시예에 따른 비접촉식 UI 동작 인식 장치(100A)의 구성 블록도이다. 도 3은 도 2에 도시된 영상 및 시차맵을 나타내는 도면이다.
도 2 내지 도 3을 참조하면, 비접촉식 UI 동작 인식 장치(100A)는 스테레오스코픽 카메라(110), 이미지 신호 처리기(ISP: Image Signal Processor)(130), 메모리(135), 시차맵 산출기(140), 위치 및 밝기 검출기(145), 거리 변환기(155), 대상 패턴 검출기(150), 속도 산출기(160) 및 UI 패턴 판별부(170)를 포함한다.
스테레오스코픽 카메라(110)는 좌안에 해당하는 왼쪽 이미지 센서(111)와 우안에 해당하는 오른쪽 이미지 센서(112)를 포함한다.
이미지 센서(111, 112)는 대상물의 2차원적 또는 3차원적 이미지를 캡쳐(capture)하는 장치이다. 이미지 센서(111, 112)는 대상물(10)로부터 반사되는 빛의 세기에 따라 반응하는 광전 변환 소자를 이용해 대상물의 이미지를 생성한다.
왼쪽 이미지 센서(111)는 왼쪽 영상(LI)을, 오른쪽 이미지 센서(112)는 오른쪽 영상(RI)을 생성할 수 있다. 이미지 센서(111, 112) 각각은 CMOS (Complementary Metal-Oxide Semiconductor)를 이용한 CMOS 이미지 센서로 구현될 수 있으나, 이에 한정되는 것은 아니다.
이미지 신호 처리기(130)는 이미지 센서(1111, 112)로부터 스테레오 영상(LI, RI)을 입력 받아 가공 및 처리하여 가공/처리된 영상(LFI, RFI)을 출력한다. 예컨대, 이미지 신호 처리기(130)는 보간(interpolation), 명도·대비 등의 색 보정, 양자화(quantization), 다른 색 공간으로의 색 변환, 둘 이상의 영상 결합(혹은 영상 합성), 영상 정합, 영상 변형 등의 가공이나 처리를 할 수 있다.
이미지 센서(1111, 112)로부터 입력된 스테레오 영상(LI, RI)은 이미지 신호 처리기(130)에 의한 ISP(Image Signal Processor) 처리 후에 메모리(135a)에 저장된 후 시차맵 산출기(140)에 입력된다.
시차맵 산출기(140)는 왼쪽 영상(LFI)과 오른쪽 영상(RFI)간의 매칭을 통해 양 영상 간의 시차(Disparity, 視差)를 계산한 후 밝기(brightness) 정보로 변환하여 시차맵(DM: disparity map)을 생성한다. 시차맵(DM)은 메모리(135b)에 저장될 수 있다. 메모리(135a)와 메모리(135b)는 동일한 메모리일 수 있다.
양 영상(LFI, RFI) 간의 시차가 클수록 카메라(110)에서 대상물(예컨대, 손가락)(10)의 거리가 가깝다는 것을 의미하고, 시차가 작을수록 카메라(110)에서 대상물(10)의 거리가 멀다는 것을 의미한다.
즉, 카메라(110)에 가까운 물체는 양안 시차각이 크고, 거리가 먼 물체는 양안 시차각이 작다. 따라서, 왼쪽 영상과 오른쪽 영상간의 매칭을 통해 시차를 산출할 수 있으며, 시차로부터 거리 정보가 산출될 수 있다.
도 2에 도시된 바와 같이, 대상물(10)이 카메라(110)로부터 가까운 위치(10a)에서 먼 위치(10b)로 이동하는 경우를 가정하자. 도 3의 (a)에 도시된 바와 같이, 대상물(10)이 가까운 위치(10a)에 있을 때의 왼쪽 영상(LFIn)과 오른쪽 영상(RFIn)간의 시차는 대상물(10)이 먼 위치(10b)에 있을 때의 왼쪽 영상(LFIn +1)과 오른쪽 영상(RFIn+1)간의 시차보다 크다.
따라서, 도 3의 (b)에 도시된 바와 같이, 대상물(10)이 가까운 위치(10a)에 있을 때의 시차맵(DMn)이 대상물(10)이 먼 위치(10b)에 있을 때의 시차맵(DMn +1) 보다 더 밝다.
위치 및 밝기 검출기(145)는 시차맵에서 대상물(예컨대, 손가락)(10)의 끝단을 감지하여 해당 위치를 찾는다. 대상물(예컨대, 손가락)(10)의 끝단은 시차맵에서 제일 밝은 부분일 수 있으나, 이에 한정되는 것은 아니다.
예컨대, 카메라(110)와 제일 가까운 부분인 대상물(10)의 끝단이 시차맵 상에서 제일 밝은 값이 된다. 따라서, 이러한 정보를 사용하여 대상물(10)의 X-Y 위치(FP)를 계산한다. 또한, 그 위치(FP)에 해당되는 밝기의 정보(FB)를 계산하게 된다.
거리 변환기(1550)는, 밝기 정보(FB)로부터 대상물(10)과의 거리 정보를 산출하여, 상기 대상물(10)의 3차원 좌표(FDP)를 산출한다. 즉, 거리 변환기(155)는, 대상물(10)의 X-Y 위치(FP)와 밝기 정보(FB)를 사용하여 3차원 좌표(X-Y-Z 값)(FDP)을 산출할 수 있다. 밝기 정보(FB)는 카메라(110)와 대상물(10)간의 거리를 의미하기 때문에 X-Y-Z의 3차원 위치 좌표(FDP)로 표시된다.
패턴 검출기(150)는 산출된 X-Y 좌표(FP) 정보를 이용해 해당 좌표(FP)의 픽셀 그룹의 색 정보(MD)를 메모리(135a)에서 읽어와 대상물(10)이 스킨-톤인지를 검출한다. 즉, 패턴 검출기(150)는 대상물(10)이 미리 정해진 특정물(예컨대, 손가락)인지를 결정하기 위하여 대상물에 해당하는 픽셀 그룹의 색 정보(MD)를 이용하여 스킨톤인지를 감지할 수 있다. 이는 대상물이 손가락인 것으로 확인된 경우만 해당 UI에 응답하도록 하기 위한 정보로 사용될 수 있다. 도 2에서 MA는 메모리(135a)로부터 색 정보(MD)를 읽어 오기 위한 주소 정보이다.
본 발명의 다른 실시예에서는, 패턴 검출기(150)는 생략될 수 있다. 예컨대, 대상물(10)이 손가락 외에 다른 물체(예컨대, 볼펜, 막대기 등)인 경우에도 해당 UI 패턴을 인식하도록 하는 실시예에서는, 패턴 검출기(150)는 구비되지 않을 수 있다. 이와 같이, 본 발명의 다른 실시예에서는, 도 2에 도시된 구성요소들 중 일부가 생략될 수도 있고, 또는 도시되지 않은 구성요소가 더 포함될 수도 있다.
속도 산출기(160)는 대상물(10)의 움직임의 변화 속도(FMV)를 감지한다. 대상물(10)의 속도(FMV)는 대상물(10)의 움직임이 의미있는 정보인지 판단하는 변수로 사용된다.
　예로서, 대상물(10)이 정 위치에서 앞뒤로 빠르게 움직이는 경우 스크린(120) 상의 손가락 위치에 매핑된 아이콘을 클릭했다고 판단할 수 있다. 만일 움직임이 느리면 단순 이동으로 판단할 수 있다. 즉, 속도 산출기(160)에서 감지한 대상물(10)의 속도(FMV)가 미리 정해진 임계 속도 이상일 경우에 유의미한 움직임으로 판단될 수 있다.
UI 패턴 판별부(170)는 대상물(10)의 3차원 좌표(X-Y-Z, FDP) 및 속도(FMV)로부터 UI 패턴을 인식한다. 　UI 패턴 판별부(170)는 패턴 검출 정보(FD), 대상물의 3차원 좌표(FDP) 및 속도 정보(FMV)를 사용하여 사용자의 UI 패턴을 판별한다.
UI 패턴 판별부(170)는 CPU 와 같은 프로세서에 의해 구현될 수 있다. 이 경우, 프로세서는 UI 패턴 인식 알고리즘 또는 UI 패턴 인식 프로그램을 실행하여 UI 패턴을 결정할 수 있다. UI 패턴 판별부(170)에서 결정된 UI 패턴에 상응하는 동작이 실행될 수 있다. 예컨대, 결정된 UI 패턴이 상술한 바와 같이 스크린상의 손가락 위치에 매핑된 아이콘을 클릭하는 동작에 해당하면, 해당 아이콘의 클릭에 상응하는 동작이 실행될 수 있다.
상술한 바와 같이 본 발명의 실시예에 따르면, 3D 카메라에서 입력되는 스테레오 영상을 이용하여 대상물(예컨대, 손가락)의 위치 및 이동 정보를 검출하여 UI 패턴을 인식할 수 있다. 이에 따라, 기존의 2차원 접촉식 터치스크린 방식의 한계점 및 불편감을 감소시킬 수 있다.
도 4는 도 2에 도시된 비접촉식 UI 동작 인식 방법을 나타내는 흐름도이다.
도 4의 비접촉식 UI 동작 인식 방법은 도 2에 도시된 비접촉식 UI 동작 인식 장치(100A)에 의해 구현될 수 있다.
도 5는 비접촉식 UI 동작의 일 예를 나타내는 도면이다. 도 6은 도 5에 도시된 비접촉식 UI 동작에 따른 비접촉식 UI 동작 인식 장치(100A)의 동작을 설명하기 위한 도면이다.
도 2 내지 도 6을 참조하면, 먼저, 왼쪽 및 오른쪽 이미지 센서(11, 112)로부터 왼쪽 및 오른쪽 영상(즉, 스테레오 영상)(LI, RI)이 생성되고(S110), 생성된 영상은 이미지 신호 처리기(130)에 의하여 처리된다(S130). 신호 처리된 영상 프레임 데이터(LFI, RFI)는 메모리(135a)에 저장될 수 있다.
시차맵 산출기(140)는 메모리(135a)부터 신호 처리된 왼쪽 영상 프레임(LFI)과 오른쪽 영상 프레임(RFI)을 수신하고 양 영상 간의 시차맵(DM)을 산출한다(S140). 이 때 시차맵(DM)은 프레임의 각 픽셀에서의 왼쪽 영상과 오른쪽 영상 간의 시차를 밝기로 변환한 값일 수 있다.
도 5에 도시된 바와 같이, 비접촉식 UI 동작이 카메라(110)로부터 떨어진 위치에서 가까이 다가왔다가(①) 다시 원위치로 멀어지는(②) 동작이라고 가정하자.
시차맵 산출기(140)는 n번째 프레임의 시차맵(DMn), (n+1)번째 프레임의 시차맵(DMn +1), 및 (n+2)번째 프레임의 시차맵(DMn+2)을 산출하여 메모리(135a)에 저장할 수 있다. 도 5 및 도 6의 실시예에서, n번째 프레임의 시차맵(DMn)은 대상물(10b)이 원 위치에 있을 때의 시차맵, (n+1)번째 프레임의 시차맵(DMn+1)은 ①동작에 의해 대상물(10b)이 가까이 이동했을 때의 시차맵, (n+2)번째 프레임의 시차맵(DMn+2)은 ② 동작에 의해 대상물(10b)이 원위치로 멀어졌을 때의 시차맵이라고 가정한다.
위치 및 밝기 검출기(145)는 시차맵에서 제일 밝은 부분인 대상물(예컨대, 손가락)의 끝단을 감지하여 대상물의 (X, Y) 위치(FP)를 계산한다(S145). 아울러, 산출된 (X, Y) 위치에 해당되는 밝기의 정보(FB)를 산출한다.
예컨대, 위치 및 밝기 검출기(145)는 n번째 프레임에서의 손가락의 위치인 FPn = (Xn, Yn)과 밝기인 FBn = 50을 산출하여 메모리(135a)에 저장하고, (n+1)번째 프레임에서의 손가락의 위치인 FPn +1 = (Xn +1, Yn +1)과 밝기인 FBn = 100을 산출하여 메모리(135a)에 저장하며, (n+2)번째 프레임에서의 손가락의 위치인 FPn +2 = (Xn +2, Yn +2)과 밝기인 FBn = 50을 산출하여 메모리(135a)에 저장할 수 있다.
거리 변환기(155)는, 밝기 정보(FB)로부터 손가락 거리 정보(Z)를 산출하여, 상기 손가락의 3차원 좌표(X, Y, Z)를 산출한다.
예컨대, 거리 변환기(155)는 n번째 프레임에서의 손가락 위치의 밝기 정보(FBn = 50)를 거리 정보(Zn)로 변환하고, (n+1)번째 프레임에서의 손가락 위치의 밝기 정보(FBn +1 = 100)를 거리 정보(Zn +1)로 변환하며, (n+2)번째 프레임에서의 손가락 위치의 밝기 정보(FBn +2 = 50)를 거리 정보(Zn +2)로 변환할 수 있다. 이로써, 각 프레임에서의 대상물(예컨대, 손가락)의 3차원 좌표(FDPn, FDPn +1, FDPn +2)가 산출된다(S155).
한편, 패턴 검출기(150)는 S145 단계에서 산출된 대상물(예컨대, 손가락)의 X-Y 좌표 정보를 이용해 해당 좌표의 픽셀 그룹의 색 정보(MD)를 메모리에서 읽어와 대상물(10)이 스킨-톤인지를 검출한다.
예컨대, 패턴 검출기(150)는 n번째 프레임에서의 손가락 위치의 색 정보(MDn)를 메모리(135a)에서 읽어와 스킨-톤인지 검출하고, 스킨-톤 검출 신호(FDn)를 발생할 수 있다. 마찬가지로, 패턴 검출기(150)는 (n+1)번째 프레임에서의 손가락 위치의 색 정보(MDn +1)를 메모리(135a)에서 읽어와 스킨-톤인지 검출하고, 스킨-톤 검출 신호(FDn +1)를 발생할 수 있으며, (n+2)번째 프레임에서의 손가락 위치의 색 정보(MDn +2)를 메모리(135a)에서 읽어와 스킨-톤인지 검출하고, 스킨-톤 검출 신호(FDn +2)를 발생할 수 있다. 만약 n, (n+1) 및 (n+2)번째 프레임에서의 손가락 위치의 색 정보가 모두 스킨 톤에 해당하면, FDn, FDn +1 및 FDn +2는 모두 "OK"(스킨 톤임을 나타내는 값)으로 설정되어 UI 패턴 판별부(170)로 입력될 수 있다.
속도 산출기(160)는 각 프레임의 3차원 좌표(FDPn, FDPn +1, FDPn +2)를 이용하여 속도(FMV)를 산출한다(S160). 예컨대, 속도 산출기(160)는 다음의 수학식 1과 같이, n 및 (n+1) 번째 프레임의 3차원 좌표(FDPn, FDPn +1)를 이용하여 n 및 (n+1) 번째 프레임간 속도(FMVn)를 산출하고, (n+1) 및 (n+2) 번째 프레임의 3차원 좌표(FDPn +1, FDPn +2)를 이용하여 (n+1) 및 (n+2) 번째 프레임간 속도(FMVn +1)를 산출할 수 있다.
Figure 112012075623459-pat00001
Figure 112012075623459-pat00002
UI 패턴 판별부(170)는 패턴 검출 신호(FDn, FDn +1, FDn +2), 대상물의 3차원 좌표 및 속도 정보(FMVn, FMVn +1)를 사용하여 사용자의 UI 패턴을 결정한다(S170).
만약, 패턴 검출 신호(FDn, FDn +1, FDn +2) 중 어느 하나라도 스킨톤이 아니라는 값("NOK")이면, UI 패턴 판별부(170)는 사용자의 UI 패턴을 무의미한 동작으로 판단할 수 있다. 만약, 패턴 검출 신호(FDn, FDn +1, FDn +2) 가 모두 "OK"이면 대상물의 3차원 좌표 및 속도 정보(FMVn, FMVn +1)를 이용하여 미리 설정되어 있는 여러 UI 패턴들 중 하나의 UI 패턴에 해당하는 것으로 판단할 수 있다.
UI 패턴이 결정되면, 결정된 UI 패턴에 따른 동작이 실행된다(S200). 예컨대, 결정된 UI 패턴이 스크린상의 손가락 위치에 매핑된 아이콘을 클릭하는 동작으로 매핑되면, 아이콘 클릭에 대응하는 동작(예컨대, 웹 브라우저 실행 등)이 실행될 수 있다.
도 7은 본 발명의 다른 실시예에 따른 비접촉식 UI 동작 인식 장치를 개략적으로 나타내는 사시도이다. 이를 참조하면, 비접촉식 UI 동작 인식 장치(100B)는 도 1에 도시된 비접촉식 UI 동작 인식 장치(100A)와 유사하므로, 설명의 중복을 피하기 위하여 차이점 위주로 기술한다.
도 7의 비접촉식 UI 동작 인식 장치(100B)는 도 1에 도시된 비접촉식 UI 동작 인식 장치(100A)에 비하여, 온도 센서(180)를 더 포함한다. 즉, 비접촉식 UI 동작 인식 장치(100B)는 스테레오스코픽 카메라(110), 스크린(120) 및 온도 센서(180)를 포함할 수 있다.
온도 센서(180)는 주변 온도를 측정한다. 온도 센서(180)에 의해 측정된 온도 및 이에 따른 정보는 비접촉식 UI 패턴을 판단하는데 일 요소(factor)로 사용될 수 있다.
도 8은 본 발명의 다른 실시예에 따른 비접촉식 UI 동작 인식 장치(100B)의 구성 블록도이다. 도 8을 참조하면, 비접촉식 UI 동작 인식 장치(100B)는 도 2에 도시된 비접촉식 UI 동작 인식 장치(100A)와 구성이 유사하므로, 설명의 중복을 피하기 위하여 차이점 위주로 기술한다.
비접촉식 UI 동작 인식 장치(100B)는 도 2에 도시된 비접촉식 UI 동작 인식 장치(100A)에 비하여, 온도 센서(180), 온도-거리 변환기(185), 온도 대상 검출기(195), 온도 기반 속도 산출기(190)를 더 포함할 수 있다.
온도 센서(180)는 주변 온도(T)를 측정한다.　온도-거리 변환기(185)는 측정된 온도(T)를 거리 정보(TD)로 변환한다. 예컨대, 손가락이 사용되는 경우, 손가락이 온도 센서(180)로부터 멀리 떨어져 있을 때 측정된 온도(T)는 가까이 있을 때 측정된 온도 보다 상대적으로 낮다. 따라서, 측정된 온도(T)가 낮으면 손가락의 거리가 먼 것으로, 측정된 온도(T)가 높으면 거리가 가까운 것으로 판단할 수 있다. 이러한 온도와 거리와의 관계에 따라 온도-거리 변환기(185)는 측정된 온도(T)를 거리 정보(TD)로 변환할 수 있다.
온도 기반 속도 산출기(190)는 측정된 온도에 따라 산출된 거리 정보, 즉 온도 기반 거리 정보(TD)의 단위시간당 변화량을 산출하여 온도 기반 속도(TV)를 산출한다.
온도 대상 검출기(195)는 측정된 온도(T)에 기초하여 대상물(예컨대, 손가락)이 존재하는지 검출한다. 예컨대, 온도 대상 검출기(195)는 측정된 온도(T)가 미리 정해진 범위 내에 속하는지 판단하여, 측정된 온도(T)가 미리 정해진 범위 내에 속하면 대상물(예컨대, 손가락)을 검출하여, 대상 검출 정보(TOD)를 발생할 수 있다.
다른 실시예에서, 온도 대상 검출기(195)는 생략될 수 있다. 예컨대, 대상물(10)이 손가락 외에 다른 물체(예컨대, 볼펜, 막대기 등)인 경우에도 해당 UI 패턴을 인식하도록 하는 실시예에서는, 온도 대상 검출기(195)는 구비되지 않을 수 있다. 이와 같이, 본 발명의 다른 실시예에서는, 도 8에 도시된 구성요소들 중 일부가 생략될 수도 있고, 또는 도시되지 않은 구성요소가 더 포함될 수도 있다.
UI 패턴 판별부(170')는 카메라 영상에 기반하여 산출된 대상물의 3차원 좌표(FDP) 속도(FMV), 및 패턴 검출 정보(FD), 그리고 측정된 온도를 이용하여 산출된 온도 기반 거리(TD), 온도 기반 속도(TV), 및 온도 기반 대상 검출 정보(TOD)를 이용하여 UI 패턴을 판별한다.
비접촉식 UI 동작 인식 장치(100B)는 UI 패턴 판별부(170)에서 결정된 UI 패턴에 상응하는 동작을 실행시킬 수 있다. 예컨대, 결정된 UI 패턴이 스크린상(120)의 손가락 위치에 매핑된 아이콘을 클릭하는 동작에 해당하면, 해당 아이콘의 클릭에 상응하는 동작이 실행될 수 있다.
상술한 바와 같이 본 발명의 다른 실시예에 따르면, 3D 카메라에서 입력되는 스테레오 영상을 이용하여 대상물(예컨대, 손가락)의 위치 및 이동 정보와 온도 센서에 기반한 정보를 활용함으로써 보다 정확하게 UI 패턴을 인식할 수 있다.
도 9는 본 발명의 다른 실시예에 따른 비접촉식 UI 동작 인식 방법을 나타내는 흐름도이다. 도 9의 비접촉식 UI 동작 인식 방법은 도 8에 도시된 비접촉식 UI 동작 인식 장치(100B)에 의해 실행될 수 있다.
도 10은 비접촉식 UI 동작의 일 예를 나타내는 도면이다. 도 11은 도 10에 도시된 비접촉식 UI 동작에 따른 비접촉식 UI 동작 인식 장치(100B)의 동작을 설명하기 위한 도면이다.
본 발명의 다른 실시예에 따른 비접촉식 UI 동작 인식 방법은 도 4에 도시된 방법과 유사하므로, 설명의 중복을 피하기 위하여 차이점 위주로 기술한다.
본 발명의 다른 실시예에 따른 비접촉식 UI 동작 인식 방법은 도 4에 도시된, 3차원 카메라를 이용하여 스테레오 영상을 생성하고 스테레오 영상에 기반하여 대상물의 패턴, 3차원 좌표 및 속도를 산출하는 과정(S110~S160)에 더하여 온도를 측정하고 측정된 온도에 기반하여 대상물의 거리 및 속도를 산출하는 과정(S180 내지 S190)을 더 포함할 수 있다.
아울러, 도 9에는 도시되지 않았지만, 본 발명의 다른 실시예에 따른 비접촉식 UI 동작 인식 방법은 측정된 온도를 이용하여 대상물의 유무를 검출하는 대상물 검출 과정(미도시)을 더 포함할 수 있다.
도 10에 도시된 바와 같이, 비접촉식 UI 동작이 카메라(110) 및 온도 센서(180)로부터 떨어진 위치에서 가까이 다가왔다가(①) 다시 원위치로 멀어지는(②) 동작이라고 가정하자.
이 경우, 도 11에 도시된 바와 같이, 시차맵 산출기(140)는 n번째 프레임의 시차맵(DMn), (n+1)번째 프레임의 시차맵(DMn +1), 및 (n+2)번째 프레임의 시차맵(DMn+2)을 산출하여 메모리에 저장할 수 있다. 도 10 및 도 11의 실시예에서, n번째 프레임의 시차맵(DMn)은 대상물(10b)이 원 위치에 있을 때의 시차맵, (n+1)번째 프레임의 시차맵(DMn+1)은 ①동작에 의해 대상물(10a)이 가까이 이동했을 때의 시차맵, (n+2)번째 프레임의 시차맵(DMn+2)은 ② 동작에 의해 대상물(10b)이 다시 원위치로 멀어졌을 때의 시차맵이라고 가정한다.
위치 및 밝기 검출기(145)는 시차맵에서 제일 밝은 부분인 대상물(예컨대, 손가락)의 끝단을 감지하여 대상물의 (X, Y) 위치를 계산한다(S145). 아울러, 산출된 (X, Y) 위치에 해당되는 밝기의 정보(FB)를 산출한다.
예컨대, 위치 및 밝기 검출기(145)는 n번째 프레임에서의 손가락의 위치인 FPn = (Xn, Yn)과 밝기인 FBn = 50을 산출하여 메모리(135a)에 저장하고, (n+1)번째 프레임에서의 손가락의 위치인 FPn +1 = (Xn +1, Yn +1)과 밝기인 FBn = 100을 산출하여 메모리(135a)에 저장하며, (n+2)번째 프레임에서의 손가락의 위치인 FPn +2 = (Xn +2, Yn +2)과 밝기인 FBn = 50을 산출하여 메모리(135a)에 저장할 수 있다.
한편, 온도 센서(180)는 대상물(10b)이 원 위치에 있을 때의 온도(Tn), ①동작에 의해 대상물(10a)이 가까이 이동했을 때의 온도(Tn +1), 및 ② 동작에 의해 대상물(10b)이 다시 원위치로 멀어졌을 때의 온도(Tn +2)를 측정한다. 측정된 온도( Tn, Tn +1, 및 Tn +2)는 각각 섭씨 10도, 20도 및 10도인 것으로 가정한다.
거리 변환기(155)는, 밝기 정보(FB)로부터 대상물의 거리 정보(FD)를 산출하여, 상기 손가락의 3차원 좌표 (X, Y, Z) (FDP)를 산출한다.
예컨대, 거리 변환기(155)는 각 프레임에서의 손가락 위치의 밝기 정보(FBn, FBn +1 , FBn+2)를 거리 정보(Zn, Zn +1, Zn +2)로 변환할 수 있다. 이로써, 각 프레임에서의 대상물(예컨대, 손가락)의 3차원 좌표(FDPn, FDPn +1, FDPn +2)가 산출된다(S155).
온도-거리 변환기(185)는 측정된 온도(Tn, Tn +1, 및 Tn +2)를 거리 정보(TDn, TDn +1, 및 TDn+2)로 변환한다(S185).
패턴 검출기(150)는 각 프레임에서의 대상물의 색 정보로부터 스킨-톤 검출 신호(FDn, FDn +1, FDn +2)를 발생할 수 있다(S150). 온도 대상 검출기(195)는 측정된 온도에 기초하여 대상 검출 신호(TODn, TODn +1, TODn +2)를 발생할 수 있다.
속도 산출기(160)는 각 프레임의 3차원 좌표(FDPn, FDPn +1, FDPn +2)를 이용하여 속도를 산출한다(S160). 예컨대, 속도 산출기(160)는 상기 수학식 1에 의하여 속도(FMVn , FMVn+1)를 산출할 수 있다.
온도 기반 속도 산출기(190)는 온도-거리 변환기(185)에 의해 산출된 거리 정보(TDn, TDn +1, 및 TDn +2)의 변화량을 산출하여 온도 기반 속도(TV)를 산출한다. (S190). 예컨대, 온도 기반 속도 산출기(190)는 거리 정보(TDn, TDn +1)간의 차이(TDn +1 - TDn)를 산출하여, 온도 기반 속도(TVn =ΔZ'n)을 구하고, 거리 정보(TDn +1, TDn+2)간의 차이(TDn +2 - TDn +1)를 산출하여, 온도 기반 속도(TVn+1 =ΔZ'n+1)을 구할 수 있다(S190).
다른 실시예에서는, 온도 기반 속도 산출기(190)는 측정된 온도(Tn, Tn +1, 및 Tn+2)으로부터 변화량(TVn, TVn +1)을 산출할 수도 있다. 예컨대, 온도 기반 속도 산출기(190)는 측정 온도(Tn, Tn+1)간의 차이(Tn +1 - Tn)를 산출하여, 변화량(TVn)을 구하고, 측정 온도(Tn +1, Tn +2)간의 차이(Tn +2 - Tn +1)를 산출하여, 변화량(TVn +1)을 구할 수 있다.
UI 패턴 판별부(170')는 패턴 검출 신호(FDn, FDn +1, FDn +2), 속도 정보(FMVn, FMVn+1), 온도 기반 검출 신호(TODn, TODn +1, TODn +2), 및 온도 기반 속도 정보(TVn, TVn+1)를 사용하여 사용자의 UI 패턴을 결정한다(S170').
UI 패턴이 결정되면, 결정된 UI 패턴에 따른 동작이 실행된다(S200). 예컨대, 결정된 UI 패턴이 스크린상의 손가락 위치에 매핑된 아이콘을 클릭하는 동작으로 매핑되면, 아이콘 클릭에 대응하는 동작(예컨대, 웹 브라우저 실행 등)이 실행될 수 있다.
도 12는 본 발명의 또 다른 실시예에 따른 비접촉식 사용자 인터페이스 인식 장치의 구성 블록도이다. 이를 참조하면, 비접촉식 UI 동작 인식 장치(100C)는 도 2에 도시된 비접촉식 UI 동작 인식 장치(100A)와 구성이 유사하므로, 설명의 중복을 피하기 위하여 차이점 위주로 기술한다.
비접촉식 UI 동작 인식 장치(100C)는 도 2에 도시된 비접촉식 UI 동작 인식 장치(100A)에 비하여, 보조 인식 유닛(200)을 더 포함할 수 있다. 보조 인식 유닛(200)은 보조 카메라(예컨대, 열화상 카메라 또는 적외선 카메라 등)일 수 있다. 보조 인식 유닛(200)이 적외선 카메라를 포함하는 경우 적외선을 이용하여 대상물(10)의 존재 및/또는 형태를 인식하여 인식 결과(SS)를 UI 패턴 판별부(170")로 제공할 수 있다.
보조 인식 유닛(200)은 또한, 자이로 센서, 가속도 센서, 지자계 센서, 기압계, 제스쳐/근접/조도/RGB 센서, 온/습도 센서, 또는 그립 센서를 포함할 수 있다.
자이로 센서는 대상물(10)의 회전각속도를 측정하고 측정 결과를 패턴 판별부(170")로 제공할 수 있다. 가속도 센서는 대상물(10)의 속도 및 운동량을 측정할 수 있다. 지자계 센서(혹은 지자기 센서라고도 함)는 지자기를 검출할 수 있다. 기압계는 고도를 측정할 수 있다. 제스쳐/근접/조도/RGB 센서는 대상물(10)의 동작인식, 접근 탐지, 광원구별 등의 기능을 수행할 수 있다. 온/습도 센서는 주변의 온도 및 습도를 감지할 수 있다. 그립 센서는 유저가 비접촉식 UI 동작 인식 장치 또는 이를 포함하는 단말을 손에 쥐었는지 검출할 수 있다.
보조 인식 유닛(200)은 상술한 센서들 중의 하나 이상을 포함하여, 센싱 결과(SS)를 패턴 판별부(170")로 제공할 수 있다. 또한, 보조 인식 유닛(200)은 상술한 보조 카메라와 센서들 중 하나 이상을 구비하고, 필요에 따라 선택적으로 운용할 수 있다.
도 13은 도 12에 도시된 본 발명의 또 따른 실시예에 따른 비접촉식 UI 동작 인식 장치(100C)의 동작을 설명하기 위한 도면이다. 도 13에 도시된 비접촉식 UI 동작 인식 장치(100C)의 동작은 도 11에 도시된 비접촉식 UI 동작 인식 장치(100C)의 동작과 유사하므로 설명의 중복을 피하기 위하여 차이점을 위주로 기술한다.
도 13을 참조하면, 도 11의 온도 센서(180)에 대신에 혹은 온도 센서(180)과 함께 다른 센서(예컨대, 상술한 자이로 센서, 가속도 센서, 지자계 센서, 기압계, 제스쳐/근접/조도/RGB 센서, 온/습도 센서, 또는 그립 센서 등)가 사용될 수 있다. 물론 상술한 센서가 복수개 구비될 수도 있고, 적외선 카메라(혹은 열화상 카메라)가 사용될 수도 있다.
센서(210)는 대상물(10)이 원 위치에 있을 때(도 10의 10b 참조)의 센싱값(sensing value, Sn), ①동작에 의해 대상물(10)이 가까이 이동했을 때(도 10의 10a 참조)의 센싱값(Sn +1), 및 ② 동작에 의해 대상물(10)이 다시 원위치로 멀어졌을 때(도 10의 10b 참조)의 센싱값(Sn+2)을 센싱한다. 센싱값(Sn, Sn+1, 및 Sn+2)는 각각 S1, S2, S3인 것으로 가정한다.
센싱값-거리 변환기(220)는 센싱값(Sn, Sn+1, 및 Sn+2)를 거리 정보(SDn, SDn +1, 및 SDn+2)로 변환할 수 있다.
센싱값 변화량(variance of sensing value) 산출기(230)는 센싱값-거리 변환기(220)에 의해 산출된 거리 정보(SDn, SDn +1, 및 SDn +2)로부터 변화량(SVn, SVn +1)을 산출할 수 있다. 예컨대, 센싱값 변화량 산출기(230)는 거리 정보(SDn, SDn +1)간의 차이(SDn +1 - SDn)를 산출하여, 변화량(SVn =ΔZ'n)을 구하고, 거리 정보(SDn +1, SDn +2)간의 차이(SDn +2 - SDn +1)를 산출하여, 변화량(SVn +1 =ΔZ'n +1)을 구할 수 있다(S190).
다른 실시예에서는, 센싱값 변화량 산출기(230)는 센싱값(Sn, Sn+1, 및 Sn+2)으로부터 변화량(SVn, SVn +1)을 산출할 수도 있다. 예컨대, 센싱값 변화량 산출기(230)는 센싱값(Sn, Sn+1)간의 차이(Sn +1 - Sn)를 산출하여, 변화량(SVn)을 구하고, 센싱값(Sn+1, Sn+2)간의 차이(Sn +2 - Sn +1)를 산출하여, 변화량(SVn +1)을 구할 수 있다.
한편, 센서 기반 대상 검출기(240)는 센서(210)에 의해 센싱된 값(Sn, Sn +1, 및 Sn+2)에 기초하여 대상 검출 신호(SODn, SODn +1, SODn +2)를 발생할 수 있다. 즉, 센서 기반 대상 검출기(240)는 센싱값(S)에 기초하여 대상물(예컨대, 손가락)이 존재하는지 검출할 수 있다. 다른 실시예에서, 센서 기반 대상 검출기(240)는 생략될 수 있다.
UI 패턴 판별부(170")는 패턴 검출 신호(FDn, FDn +1, FDn +2), 속도 정보(FMVn, FMVn+1), 센서 기반 검출 신호(SODn, SODn +1, SODn +2), 및 센서 기반 변동량(SVn, SVn +1)를 사용하여 사용자의 UI 패턴을 결정할 수 있다.
센서(210), 센싱값-거리 변환기(220), 센싱값 변화량 산출기(230) 및 센서 기반 대상 검출기(240)는 도 12에 도시된 보조 인식 유닛(200)의 구성요소일 수 있다.
도 14는 본 발명의 일 실시예에 따른 비접촉식 사용자 인터페이스 인식 시스템의 구성 블록도이다. 이를 참조하면, 시스템(400)은 PC(personal computer) 또는 데이터 서버로 구현될 수 있다. 시스템(400)은 또한 휴대용 장치로 구현될 수 있다. 휴대용 장치는 이동 전화기, 스마트 폰(smart phone), 태블릿 (tablet) PC, PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라 (digital still camera), 디지털 비디오 카메라 (digital video camera), PMP (portable multimedia player), PDN(personal navigation device 또는 portable navigation device), 휴대용 게임 콘솔(handheld game console), 또는 e-북(e-book)으로 구현될 수 있다.
시스템(400)은 프로세서(405), 파워 소스(410), 저장 장치(420), 메모리(430), 입출력 포트들(440), 확장 카드(450), 네트워크 장치(460), 디스플레이(470) 및 카메라 모듈(480)을 포함할 수 있다. 실시 예에 따라. 시스템(400)은 상술한 이미지 신호 처리기(130) 및/또는 온도 센서(180)를 더 포함할 수 있다.
프로세서(405)는 구성 요소들(elements; 410~480) 중에서 적어도 하나의 동작을 제어할 수 있다. 실시예에 따라 프로세서(405)는 상술한 시차맵 산출기(140), 위치 및 밝기 검출기(145), 거리 변환기(155), 대상 패턴 검출기(150), 속도 산출기(160) 및 UI 패턴 판별부(170)의 기능을 수행할 수 있다. 실시예에 따라 프로세서(405)는 상술한 온도-거리 변환기(185), 온도 대상 검출기(195), 및 온도 기반 속도 산출기(190)의 기능을 더 수행할 수 있다.
파워 소스(410)는 구성 요소들(405~480) 중에서 적어도 하나로 동작 전압을 공급할 수 있다.
저장 장치(420)는 하드디스크 드라이브(hard disk drive) 또는 SSD(solid state drive)로 구현될 수 있다.
메모리(430)는 휘발성 메모리 또는 불휘발성 메모리로 구현될 수 있으며, 도 2 또는 도 8의 메모리 장치(135)에 해당할 수 있다. 실시 예에 따라, 메모리(430)에 대한 데이터 액세스 동작, 예컨대, 리드 동작, 라이트 동작(또는 프로그램 동작), 또는 이레이즈 동작을 제어할 수 있는 메모리 컨트롤러는 프로세서(405)에 집적 또는 내장될 수 있다. 다른 실시 예에 따라, 상기 메모리 컨트롤러는 프로세서(405)와 메모리(430) 사이에 구현될 수 있다.
입출력 포트들(440)은 시스템(400)으로 데이터를 전송하거나 또는 시스템(400)으로부터 출력된 데이터를 외부 장치로 전송할 수 있는 포트들을 의미한다. 예컨대, 입출력 포트들(440)은 컴퓨터 마우스와 같은 포인팅 장치 (pointing device)를 접속하기 위한 포트, 프린터를 접속하기 위한 포트, 또는 USB 드라이브를 접속하기 위한 포트일 수 있다.
확장 카드(450)는 SD(secure digital) 카드 또는 MMC(multimedia card)로 구현될 수 있다. 실시 예에 따라, 확장 카드(450)는 SIM(Subscriber Identification Module) 카드 또는 USIM(Universal Subscriber Identity Module) 카드일 수 있다.
네트워크 장치(460)는 시스템(400)을 유선 네트워크 또는 무선 네트워크에 접속시킬 수 있는 장치를 의미한다.
디스플레이(470)는 저장 장치(420), 메모리(430), 입출력 포트들(440), 확장 카드(450), 또는 네트워크 장치(460)로부터 출력된 데이터를 디스플레이할 수 있다.
카메라 모듈(480)은 광학 이미지를 전기적인 이미지로 변환할 수 있는 모듈을 의미한다. 따라서, 카메라 모듈(480)로부터 출력된 전기적인 이미지는 저장 장치(420), 메모리(430), 또는 확장 카드(450)에 저장될 수 있다. 또한, 카메라 모듈(480)은 상술한 스테레오스코픽 카메라(110)에 해당할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100A, 100B, 100C: UI 동작 인식 장치
100: 스테레오스코픽 카메라
120: 스크린
130: 이미지 신호 처리기(ISP: Image Signal Processor)
135a, 135b: 메모리
140: 시차맵 산출기
145: 위치 및 밝기 검출기
150: 대상 패턴 검출기
155: 거리 변환기
160: 속도 산출기
170, 170', 170": UI 패턴 판별부
180: 온도 센서
185: 온도-거리 변환기
190: 온도 기반 속도 산출기
195: 온도 대상 검출기
200: 보조 인식 유닛
400: UI 동작 인식 시스템

Claims (20)

  1. 제1 이미지 센서와 제2 이미지 센서를 포함하며, 대상물을 촬영하는 3차원 스테레오스코픽 카메라;
    상기 제1 이미지 센서로부터 생성된 제1 영상과 상기 제2 이미지 센서로부터 생성된 제2 영상으로부터 시차맵을 생성하는 시차맵 산출기;
    상기 시차맵으로부터 상기 대상물의 위치 및 밝기 정보를 추출하는 위치 및 밝기 검출기;
    상기 밝기 정보로부터 대상물 거리 정보를 산출하고 상기 거리 정보 및 상기 위치를 이용하여 상기 대상물의 3차원 좌표를 산출하는 거리 변환기;
    상기 3차원 좌표로부터 속도를 산출하는 속도 산출기;
    상기 위치에 상응하는 픽셀 그룹의 색 정보로부터 상기 대상물이 손가락인지를 검출하는 패턴 검출기; 및
    상기 대상물이 손가락인 것으로 확인된 경우, 상기 3차원 좌표 및 속도로부터 상기 대상물의 사용자 인터페이스(UI: User Interface) 패턴을 판별하는 패턴 판별부를 포함하는 비접촉식 사용자 인터페이스 인식 장치.
  2. 제1항에 있어서, 상기 시차맵 산출기는
    상기 제1 영상과 상기 제2 영상의 매칭을 통해 상기 제1 및 제2 영상 간의 거리차(Disparity, 시차)를 산출하고 상기 산출된 거리차를 밝기 정보로 변환하여 상기 시차맵을 생성하는 비접촉식 사용자 인터페이스 인식 장치.
  3. 제1항에 있어서, 상기 위치 및 밝기 검출기는
    상기 대상물의 끝단을 감지하여 상기 위치를 산출하고, 상기 산출된 위치의 밝기 정보를 산출하며,
    상기 대상물의 끝단은 상기 시차맵에서 가장 밝은 부분에 해당하는 비접촉식 사용자 인터페이스 인식 장치.
  4. 제1항에 있어서,
    상기 패턴 판별부는
    상기 속도는 미리 정해진 임계 속도 이상일 경우에만 상기 UI 패턴으로 판단하는 비접촉식 사용자 인터페이스 인식 장치.
  5. 제1항에 있어서, 상기 비접촉식 사용자 인터페이스 인식 장치는
    주변 온도를 측정하는 온도 센서: 및
    상기 측정된 온도를 상기 대상물의 거리 정보로 변환하는 온도-거리 변환기를 더 구비하며,
    상기 패턴 판별부는
    상기 3차원 좌표, 속도 및 상기 온도-거리 변환기에서 출력되는 온도 기반 거리 정보를 이용하여 상기 UI 패턴을 판별하는 비접촉식 사용자 인터페이스 인식 장치.
  6. 3차원 스테레오스코픽 카메라를 이용하여 대상물을 촬영함으로써 제1 영상과 제2 영상을 생성하는 단계;
    상기 제1 영상과 상기 제2 영상으로부터 상기 대상물의 거리 변화(카메라 기반 거리 변화)를 검출하는 단계;
    상기 제1 영상과 상기 제2 영상으로부터 상기 대상물이 손가락인지를 검출하는 단계;
    센서를 이용하여 센싱값을 측정하는 단계;
    상기 센싱값으로부터 상기 센싱값의 변화량를 검출하는 단계; 및
    상기 대상물이 손가락인 것으로 확인된 경우, 상기 카메라 기반 거리 변화 및 센싱값의 변화량을 이용하여 상기 대상물의 사용자 인터페이스(UI: User Interface) 패턴을 판별하는 단계를 포함하는 비접촉식 사용자 인터페이스 인식 방법.
  7. 제6항에 있어서, 상기 카메라 기반 거리 변화를 검출하는 단계는
    상기 제1 영상과 상기 제2 영상간의 시차맵을 산출하는 단계;
    상기 시차맵으로부터 상기 대상물의 위치 및 밝기 정보를 추출하는 단계;
    상기 밝기 정보로부터 상기 대상물의 거리 정보를 산출하고 상기 거리 정보 및 상기 위치를 이용하여 상기 대상물의 3차원 좌표를 산출하는 단계; 및
    상기 3차원 좌표로부터 속도를 산출하는 단계를 포함하는 비접촉식 사용자 인터페이스 인식 방법.
  8. 제7항에 있어서, 상기 시차맵을 산출하는 단계는
    상기 제1 영상과 상기 제2 영상의 매칭을 통해 매칭 거리차를 산출하고 상기 산출된 거리차를 밝기 정보로 변환하여 상기 시차맵을 생성하는 단계를 포함하는 비접촉식 사용자 인터페이스 인식 방법.
  9. 제8항에 있어서, 상기 대상물의 2차원 위치 및 밝기 정보를 추출하는 단계는
    상기 대상물의 끝단을 감지하여 상기 위치를 산출하고, 상기 산출된 위치의 밝기 정보를 산출하는 단계를 포함하며,
    상기 대상물의 끝단은 상기 시차맵에서 가장 밝은 부분에 해당하는 비접촉식 사용자 인터페이스 인식 방법.
  10. 제6항에 있어서,
    상기 센서는 온도 센서를 포함하고,
    상기 센싱값은 측정된 온도를 포함하며,
    상기 센싱값으로부터 상기 센싱값의 변화량를 검출하는 단계는
    상기 측정된 온도로부터 상기 대상물의 거리 변화(온도 기반 거리 변화)를 산출하는 단계를 포함하는 포함하는 비접촉식 사용자 인터페이스 인식 방법.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020120103508A 2012-09-18 2012-09-18 비접촉식 사용자 인터페이스 동작 인식 방법 및 그 장치 KR101985674B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120103508A KR101985674B1 (ko) 2012-09-18 2012-09-18 비접촉식 사용자 인터페이스 동작 인식 방법 및 그 장치
DE102013110208.5A DE102013110208A1 (de) 2012-09-18 2013-09-17 Verfahren zum Erkennen einer Bewegung einer kontaktlosen Benutzerschnittstelle und System davon
CN201310429100.1A CN103677260B (zh) 2012-09-18 2013-09-18 识别无接触用户接口动作的方法及其***
US14/030,099 US9207779B2 (en) 2012-09-18 2013-09-18 Method of recognizing contactless user interface motion and system there-of

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120103508A KR101985674B1 (ko) 2012-09-18 2012-09-18 비접촉식 사용자 인터페이스 동작 인식 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20140036859A KR20140036859A (ko) 2014-03-26
KR101985674B1 true KR101985674B1 (ko) 2019-06-04

Family

ID=50181889

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120103508A KR101985674B1 (ko) 2012-09-18 2012-09-18 비접촉식 사용자 인터페이스 동작 인식 방법 및 그 장치

Country Status (4)

Country Link
US (1) US9207779B2 (ko)
KR (1) KR101985674B1 (ko)
CN (1) CN103677260B (ko)
DE (1) DE102013110208A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104375639A (zh) * 2014-07-17 2015-02-25 深圳市钛客科技有限公司 一种空中感应设备
CN104375636A (zh) * 2014-07-17 2015-02-25 深圳市钛客科技有限公司 一种便携式终端
CN104375640A (zh) * 2014-07-17 2015-02-25 深圳市钛客科技有限公司 一种触摸设备
CN104375637B (zh) * 2014-07-17 2017-07-04 深圳市魔眼科技有限公司 触控***、触控装置、移动设备以及触控处理方法
CN104375717A (zh) * 2014-07-17 2015-02-25 深圳市钛客科技有限公司 便携式装置、触控***及触摸设备
KR102290287B1 (ko) * 2014-10-24 2021-08-17 삼성전자주식회사 이미지 신호와 근접 신호를 동시에 생성하는 이미지 센서
KR102299575B1 (ko) * 2015-03-09 2021-09-07 삼성전자주식회사 위상 검출 픽셀들로부터 깊이 맵을 생성할 수 있는 이미지 신호 프로세서와 이를 포함하는 장치
CN106681572A (zh) * 2015-11-05 2017-05-17 阿里巴巴集团控股有限公司 一种智能终端的触摸屏控制方法和装置
CN105867685A (zh) * 2016-03-28 2016-08-17 乐视控股（北京）有限公司 终端设备的控制方法和装置
CN107193379B (zh) * 2017-05-23 2021-01-26 努比亚技术有限公司 应用程序启动方法、终端及计算机可读存储介质
US11836984B2 (en) * 2018-06-29 2023-12-05 Logistics and Supply Chain MultiTech R&D Centre Limited Electronic device and method for counting objects
CN111579119B (zh) * 2020-04-22 2022-12-02 深圳市优必选科技股份有限公司 一种测温方法、装置、计算机可读存储介质及机器人

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005321869A (ja) * 2004-05-06 2005-11-17 Alpine Electronics Inc 操作入力装置および操作入力方法
JP2006126936A (ja) * 2004-10-26 2006-05-18 Canon Inc 画像処理方法、画像処理装置
KR100938194B1 (ko) * 2008-07-28 2010-01-21 재단법인대구경북과학기술원 객체 검출 방법 및 객체 검출 장치

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6445814B2 (en) * 1996-07-01 2002-09-03 Canon Kabushiki Kaisha Three-dimensional information processing apparatus and method
KR100446236B1 (ko) 2001-07-02 2004-08-30 엘지전자 주식회사 비접촉식 3차원 무선 조이스틱
US7893920B2 (en) * 2004-05-06 2011-02-22 Alpine Electronics, Inc. Operation input device and method of operation input
US7653883B2 (en) 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
KR20070062881A (ko) 2005-12-13 2007-06-18 주식회사 팬택 비접촉 인터페이스 장치를 구비한 이동통신 단말기 및비접촉 인터페이스 사용 방법
KR20090079019A (ko) 2008-01-16 2009-07-21 엘지이노텍 주식회사 스테레오 카메라를 이용한 마우스 시스템 및 그 제어 방법
JP2009258884A (ja) 2008-04-15 2009-11-05 Toyota Central R&D Labs Inc ユーザインタフェイス
CN101312539B (zh) * 2008-07-03 2010-11-10 浙江大学 用于三维电视的分级图像深度提取方法
KR20100095951A (ko) * 2009-02-23 2010-09-01 주식회사 팬택 휴대 전자기기 및 그것의 제어방법
JP5416489B2 (ja) 2009-06-17 2014-02-12 日本電信電話株式会社 三次元指先位置検出方法、三次元指先位置検出装置、およびプログラム
CN101938670A (zh) * 2009-06-26 2011-01-05 Lg电子株式会社 图像显示装置及其操作方法
KR101082829B1 (ko) 2009-10-05 2011-11-11 백문기 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법
KR101639383B1 (ko) 2009-11-12 2016-07-22 삼성전자주식회사 근접 터치 동작 감지 장치 및 방법
US8520061B2 (en) * 2009-12-14 2013-08-27 3M Innovative Properties Company Zero-D dimming for 3D displays
JP4783456B2 (ja) 2009-12-22 2011-09-28 株式会社東芝 映像再生装置及び映像再生方法
US9350982B2 (en) * 2010-07-22 2016-05-24 Seiko Epson Corporation Image display device, image supply device, and image processing method with brightness expanding processing for improved contrast sensitivity in a 3D image
US9179140B2 (en) * 2010-10-19 2015-11-03 Mitsubishi Electric Corporation 3dimension stereoscopic display device
US8403390B2 (en) 2011-03-10 2013-03-26 Shiloh Industries, Inc. Vehicle panel assembly and method of attaching the same
WO2012153447A1 (ja) * 2011-05-11 2012-11-15 パナソニック株式会社 画像処理装置、映像処理方法、プログラム、集積回路
TWI504232B (zh) * 2011-06-22 2015-10-11 Realtek Semiconductor Corp 3d影像處理裝置
US9571818B2 (en) * 2012-06-07 2017-02-14 Nvidia Corporation Techniques for generating robust stereo images from a pair of corresponding stereo images captured with and without the use of a flash device
KR20140139847A (ko) * 2013-05-28 2014-12-08 삼성디스플레이 주식회사 입체영상 표시장치, 영상처리장치 및 영상처리방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005321869A (ja) * 2004-05-06 2005-11-17 Alpine Electronics Inc 操作入力装置および操作入力方法
JP2006126936A (ja) * 2004-10-26 2006-05-18 Canon Inc 画像処理方法、画像処理装置
KR100938194B1 (ko) * 2008-07-28 2010-01-21 재단법인대구경북과학기술원 객체 검출 방법 및 객체 검출 장치

Also Published As

Publication number Publication date
CN103677260B (zh) 2018-05-04
CN103677260A (zh) 2014-03-26
US20140078048A1 (en) 2014-03-20
KR20140036859A (ko) 2014-03-26
DE102013110208A1 (de) 2014-03-20
US9207779B2 (en) 2015-12-08

Similar Documents

Publication Publication Date Title
KR101985674B1 (ko) 비접촉식 사용자 인터페이스 동작 인식 방법 및 그 장치
US10638117B2 (en) Method and apparatus for gross-level user and input detection using similar or dissimilar camera pair
US9465444B1 (en) Object recognition for gesture tracking
US10248217B2 (en) Motion detection system
US20140037135A1 (en) Context-driven adjustment of camera parameters
US9303982B1 (en) Determining object depth information using image data
KR101343748B1 (ko) 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
US9285885B2 (en) Gesture recognition module and gesture recognition method
JPWO2017057106A1 (ja) 入力装置、入力方法、及びプログラム
US9377866B1 (en) Depth-based position mapping
US9760177B1 (en) Color maps for object tracking
CN106598422B (zh) 混合操控方法及操控***和电子设备
CN106569716B (zh) 单手操控方法及操控***
TWI510082B (zh) 用於影像辨識之影像擷取方法及其系統
JP6501806B2 (ja) 情報処理装置、操作検出方法、及びコンピュータプログラム
KR20130085094A (ko) 유저 인터페이스 장치 및 유저 인터페이스 제공 방법
TWI536794B (zh) 具非接觸式手部控制功能之行動電話
TWI444875B (zh) 多點觸碰輸入裝置及其使用單點觸控感應板與影像感測器之資料融合之介面方法
Shah et al. A survey of virtual keyboard with its senses
TW201419087A (zh) 微體感偵測模組及其微體感偵測方法
TWI697827B (zh) 控制系統及其控制方法
KR102300290B1 (ko) 카메라를 이용한 손가락 움직임 연동형 스마트 마우스 및 이를 이용한 마우스 커서의 제어방법
CN116391163A (zh) 电子设备、方法和存储介质
KR101351993B1 (ko) 가상평면 자동정의방법 및 그 장치
JP5353196B2 (ja) 移動計測装置および移動計測プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant