KR102263064B1 - 피사체의 움직임을 인식하는 장치 및 그 동작 방법 - Google Patents

피사체의 움직임을 인식하는 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR102263064B1
KR102263064B1 KR1020140110958A KR20140110958A KR102263064B1 KR 102263064 B1 KR102263064 B1 KR 102263064B1 KR 1020140110958 A KR1020140110958 A KR 1020140110958A KR 20140110958 A KR20140110958 A KR 20140110958A KR 102263064 B1 KR102263064 B1 KR 102263064B1
Authority
KR
South Korea
Prior art keywords
light
subject
movement
pixel
recognizing
Prior art date
Application number
KR1020140110958A
Other languages
English (en)
Other versions
KR20160024307A (ko
Inventor
윤희선
유장우
전명제
박용화
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140110958A priority Critical patent/KR102263064B1/ko
Priority to US14/624,715 priority patent/US9857877B2/en
Publication of KR20160024307A publication Critical patent/KR20160024307A/ko
Priority to US15/824,163 priority patent/US10401969B2/en
Application granted granted Critical
Publication of KR102263064B1 publication Critical patent/KR102263064B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Position Input By Displaying (AREA)

Abstract

피사체를 향해 광을 조사하는 광원; 피사체로부터 반사된 광을 수광하는 이미지 센서; 및 이미지 센서에 포함된 픽셀 어레이 중에 상기 반사된 광을 수광하는 픽셀을 검출하는 처리부;를 포함하며, 검출된 픽셀의 위치 이동에 기초하여 상기 피사체의 움직임을 추적하는, 피사체의 움직임을 인식하는 장치 및 방법이 제공된다.

Description

피사체의 움직임을 인식하는 장치 및 그 동작 방법{Apparatus and method for recognizing movement of a subject}
본 개시는 피사체의 움직임을 인식하기 위한 장치 및 그 동작 방법에 관한 것으로, 더욱 구체적으로는 광원 및 이미지 센서를 이용하여, 피사체의 3차원적인 움직임을 인식하는 장치 및 발명에 관한 것이다.
최근 영상 처리 기술의 발달에 따라, 영상 처리 장치는 피사체의 움직임을 인식하기 위해 깊이 카메라(depth camera), 스테레오 카메라 등을 사용하는 등 3차원 정보를 이용하여 인식한다. 특히, 깊이 카메라(depth camera)는 조사된 빛이 오브젝트에 반사되어 돌아오는 시간인 ToF(Time of Flight)을 이용하기도 한다.
이와 같이, 3차원 정보를 이용한 영상 처리를 하기 위해서는 여러 가지 modulation 등에 소모되는 소비 전력이나, 다양한 영상 처리에 적용될 filter와 같은 추가적인 SW resource가 요구된다. 즉, 보다 정밀한 피사체의 움직임을 인식하기 위해서는 하드웨어적이나, 소프트웨어적으로 많은 프로세싱 과정이 필요하고 필연적으로 많은 프로세싱 파워가 소모된다.
실시 예들은 광원 및 이미지 센서를 이용하여, 피사체의 움직임을 인식하기 위한 장치 및 장치의 동작 방법을 제공하기 위한 것이다.
또한, 실시 예들은 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 데 있다. 본 실시 예가 이루고자 하는 기술 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 이하의 실시 예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
제 1 측면에 따른, 피사체의 움직임을 인식하는 장치는, 피사체를 향해 광을 조사하는 광원; 피사체로부터 반사된 광을 수광하는 이미지 센서; 및 이미지 센서에 포함된 픽셀 어레이 중에 반사된 광을 수광하는 픽셀을 검출하는 처리부;를 포함하고, 처리부는, 검출된 픽셀의 위치 이동에 기초하여 상기 피사체의 움직임을 추적한다.
또한, 피사체의 움직임을 인식하는 장치는, 피사체로부터 반사된 광에서 소정의 파장을 갖는 광을 통과시키는 필터를 더 포함하고, 처리부는 통과된 광을 수광하는 픽셀을 검출한다.
또한, 처리부는, 광의 세기에 대한 임계값을 설정하여, 반사된 광 중에 설정된 임계값보다 큰 광을 수광하는 픽셀을 검출한다.
또한, 처리부는, 픽셀 어레이 중에 반사된 광을 수광하는 픽셀이 복수인 경우, 복수의 픽셀 중 중심에 있는 픽셀을 검출한다.
또한, 처리부는, 검출된 픽셀의 위치 이동량에 기초하여, 피사체가 움직인 거리를 산출한다.
또한, 피사체의 움직임을 인식하는 장치는, 조사된 광이 피사체에 의해 반사되어, 반사된 광을 집광하는 렌즈;를 더 포함하고, 이미지 센서는 렌즈를 통해 집광된 광을 수광한다.
또한, 피사체의 움직임을 인식하는 장치는, 검출된 픽셀의 위치 이동에 따른 패턴을 인식하는 인식부를 더 포함한다.
또한, 광원은, 슬릿을 통과한 광을 조사한다.
또한, 피사체의 움직임을 인식하는 장치는, 검출된 픽셀의 위치 이동에 따른 패턴을 디스플레이하는 표시부를 더 포함한다.
제 2 측면에 따른, 피사체의 움직임을 인식하는 방법은, 광원으로부터 피사체를 향해 광을 조사하는 단계; 피사체로부터 반사된 광을 이미지 센서가 수광하는 단계; 이미지 센서에 포함된 픽셀 어레이 중에 반사된 광을 수광하는 픽셀을 검출하는 단계; 및 검출된 픽셀의 위치 이동에 기초하여, 피사체의 움직임을 추적하는 단계;를 포함한다.
제 3 측면에 따른, 피사체의 움직임을 인식하는 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체가 제공된다.
실시 예들에 따르면, 피사체의 위치와 이미지 센서 내의 픽셀의 위치가 대응되므로 픽셀의 위치 이동을 검출하여 피사체의 움직임을 추적할 수 있는 효과가 있다.
도 1은 피사체의 움직임을 인식하는 장치를 설명하기 위한 도면이다.
도 2는 피사체의 움직임을 인식하는 장치가 웨어러블 디바이스에 장착되어 피사체의 움직임을 추적하는 예시를 설명하기 위한 도면이다.
도 3은 피사체의 움직임을 인식하는 장치가 z축 좌표 상에서 피사체의 움직임을 인식하는 방식을 설명하기 위한 도면이다.
도 4는 피사체의 움직임을 인식하는 장치가 x축 좌표 상에서 피사체의 움직임을 인식하는 방식을 설명하기 위한 도면이다.
도 5는 도 3 및 도 4의 내용을 종합하여 피사체의 움직임을 인식하는 예시를 설명하기 위한 도면이다.
도 6은 피사체의 움직임을 인식하는 장치가 y축 좌표 상에서 피사체의 움직임을 인식하는 방식을 설명하기 위한 도면이다.
도 7은 피사체의 움직임을 인식하는 장치가 이미지 센서 내에 위치한 특정 픽셀을 검출하는 내용을 설명하기 위한 도면이다.
도 8은 다른 실시예에따라, 피사체의 움직임을 인식하는 장치를 설명하기 위한 도면이다.
도 9는 일 실시예에 따라, 필터를 포함하는 피사체의 움직임을 인식하는 장치를 설명하기 위한 도면이다.
도 10은 피사체의 움직임을 인식하는 장치에 포함된 인식부의 기능을 설명하기 위한 도면이다.
도 11은 피사체의 움직임을 인식하는 방법을 설명하기 위한 도면이다.
도 12은 이미지 센서 내의 픽셀 어레이 중 특정 픽셀을 검출하는 방법을 설명하기 위한 도면이다.
이하 첨부된 도면을 참조하면서 오로지 예시를 위한 실시예에 의해 발명을 상세히 설명하기로 한다. 하기 실시예는 발명을 구체화하기 위한 것일 뿐 발명의 권리 범위를 제한하거나 한정하는 것이 아님은 물론이다. 상세한 설명 및 실시예로부터 발명이 속하는 기술분야의 전문가가 용이하게 유추할 수 있는 것은 발명의 권리범위에 속하는 것으로 해석된다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하에서는 도면을 참조하여 실시 예들을 상세히 설명한다.
도 1은 일 실시예에 따른, 피사체의 움직임을 인식하는 장치(100)를 설명하기 위한 도면이다. 이하에서는, 편의에 따라, 장치(100)로 줄여서 표현하기로 한다. 장치(100)는 일 실시예에 따라, 광원(110), 렌즈(120), 이미지 센서(130) 및 처리부(140)를 포함할 수 있다. 도 1에 도시된 장치(100)는 본 실시 예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시 예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
광원(110)은, 일 실시예에 따라, 광을 피사체를 향해 조사할 수 있다. 예를 들어, 광원(110)은 안전을 위해 인간의 눈에는 보이지 않는 약 850nm의 근 적외선(NIR) 파장을 갖는 광을 방출시킬 수 있는 발광 다이오드(LED) 또는 레이저 다이오드(LD)일 수 있지만, 파장의 대역과 광원의 종류는 제한을 받지 않는다. 또한, 광원(110)은 기 설정된 각도로 광을 조사할 수 있으며, 광은 슬릿(slit)을 통과한 광이 될 수 있다. 또한, 광원(110)은 적외선과 같은 소정의 파장을 갖는 광을 조사할 수 있다.
렌즈(120)는, 일 실시예에 따라, 광원(110)에 의해 조사된 광이 피사체에 의해 반사되어, 반사된 광 중의 일부를 집광할 수 있다. 렌즈(120)는 일 실시예에 따라, 볼록 렌즈의 형태를 가질 수 있으며, 후술할 이미지 센서(130)로 광을 집광하여 보내주는 역할을 수행할 수 있다.
이미지 센서(130)는, 일 실시예에 따라, 렌즈(120)에 의해 집광된 광을 수광할 수 있다. 이미지 센서(130)는 픽셀 어레이(pixel array)로 구성될 수 있으며, 픽셀 어레이 중 특정 픽셀이 렌즈(120)에 의해 집광된 광을 수광할 수 있다. 일 실시예에 따라, 이미지 센서(130)는 CIS(CMOS image sensor)가 될 수 있으며, 2D-PSD(Position Sensitive Detector) 또는 2차원의 PD(Photo Diode)로 구성된 센서가 될 수 있다.
처리부(140)는, 일 실시예에 따라, 이미지 센서(130)의 픽셀 어레이 중에, 렌즈(120)에 의해 집광된 광을 수광하는 픽셀을 검출하여, 피사체의 위치를 인식할 수 있다. 즉, 피사체의 위치에 따라, 피사체에 의해 반사 및 렌즈(120)에 의해 집광된 광을 수광하는 픽셀의 위치가 달라질 수 있으므로, 처리부(140)는 2차원 픽셀 어레이 중에, 반사 및 집광된 광이 수광되는 픽셀을 검출하므로써, 피사체의 위치를 인식할 수 있다. 일 실시예에 따라, 처리부(140)가 픽셀을 검출한다는 것은, 처리부(140)가 이미지 센서 내의 광을 수광하는 특정 픽셀을 검출하여, 특정 픽셀이 픽셀 어레이 중에 어느 위치에 있는지를 인식하는 것을 의미할 수 있다. 따라서, 검출되는 픽셀의 위치와 피사체의 위치를 일대일 대응시킬 수 있다.
또한, 처리부(140)는 일 실시예에 따라, 검출된 픽셀의 위치 이동에 기초하여 피사체의 움직임을 추적할 수 있다. 즉, 처리부(140)는 피사체의 움직임에 따른 반사 및 집광된 광을 수광하는 픽셀의 위치 이동을 검출하여, 검출된 픽셀의 위치 이동으로 피사체의 움직임을 추적할 수 있다.
처리부(140)는, 일 실시예에 따라, 광의 세기에 대한 임계값을 설정하여, 집광된 광 중에 설정된 임계값보다 큰 광을 수광하는 픽셀을 검출할 수 있다. 다른 실시예에 따라, 처리부(140)는 픽셀 어레이 중에 집광된 광을 수광하는 픽셀이 복수인 경우, 복수의 픽셀 중 중심 위치에 있는 픽셀을 검출하여, 피사체의 위치를 인식할 수 있다.
또한, 처리부(140)는, 일 실시예에 따라, 광원(110)과 피사체 사이의 거리 및 광원(110)이 피사체를 향해 광을 조사하는 각도를 조절하여 이미지 센서(130)가 인식할 수 있는 최적 분해능을 설정할 수 있다. 즉, 처리부(140)는 광을 조사하는 각도를 조절하여, 피사체가 움직인 거리와 피사체가 움직인 거리에 따른 픽셀의 위치 이동량의 비율을 조절할 수 있다.
또한, 처리부(140)는, 일 실시예에 따라, 검출된 픽셀의 위치 이동량에 기초하여, 피사체가 움직인 거리를 산출할 수 있다. 이에 대한 구체적인 설명은 도 3에서 하기로 한다.
도 2은, 일 실시예에 따라, 장치(100)가 웨어러블 디바이스(wearable device)에 장착되어 피사체의 움직임을 추적하는 일례를 도시한 도면이다. 도 2에서는 장치(100)가 웨어러블 디바이스에 측면에 장착된 것으로 도시되었지만, 스마트 폰이나 그 이외의 휴대용 기기에 장착될 수 있고, 휴대용 기기의 어느 측면에 장착되어도 무방하다. 또한, 도 1의 처리부(140)는 장치(100)내에 장착된 것으로 도 2에서는 도시되지 않은 것으로 본다.
도면에 도시된 바와 같이, 광원(110)은 피사체(210)를 향해 슬릿을 통과한 광을 조사하고, 조사된 광은 피사체(210)에 의해 반사될 수 있다. 이어서, 반사된 광은 렌즈(미도시)에 의해 집광되어 이미지 센서(130)에 맺힐 수 있다.
따라서, 처리부(140)는 이미지 센서(130)를 구성하는 픽셀 어레이 중에 집광된 광을 수광하는 픽셀을 검출할 수 있고, 피사체(210)의 움직임에 따른 집광된 광을 수광하는 픽셀의 위치 이동을 검출하여, 검출된 픽셀의 위치 이동으로 피사체(210)의 움직임을 추적할 수 있다.
즉, 일 실시예에 따라, 피사체(210)는 3차원 좌표 축인 x, y, z축 상에서 움직일 수 있다. 일 예시로, 도면에서는 피사체(210)는 x-z좌표 축 상에서 사인파(sine wave) 곡선을 그린다. 피사체(210)가 사인파 곡선을 그리며 움직일 동안, 처리부(140)는 피사체의 움직임에 따른 픽셀의 위치 이동을 검출할 수 있고, 검출된 픽셀의 위치 이동에 따른 패턴을 웨어러블 디바이스(201)의 표시부에 디스플레이할 수 있다. 또한, 장치(100)는 별도의 표시부를 구비하여 검출된 픽셀의 위치 이동에 따른 패턴을 디스플레이할 수 있다.
따라서, 실시예에 따른 장치(100)는 광원 및 이미지 센서를 구비하여, 피사체의 위치와 일대일 대응되는 이미지 센서 내의 픽셀을 검출하여, 피사체의 움직임을 추적하는 바, 깊이 연산, 이미지 필터링 등 별도의 이미지 프로세싱 과정 없이도 움직임을 추적할 수 있으므로 하드웨어적으로나 소프트웨어적으로 프로세싱에 따른 전력 소모를 줄일 수 있다.
도 3은, 일 실시예에 따라, 장치(100)가 도 2의 z축 좌표상에서 피사체의 움직임을 추적하는 방식을 설명하기 위한 도면이다. 도 3a 및 도 3b는 도 2의 x축의 음의 방향(화살표 반대 방향)으로 장치(100)를 바라본 것을 나타낸다. 이하에서는, 피사체는 손가락을 예시로 하여 설명하기로 한다. 또한, 도면에서는 편의상, 손가락의 크기에 비해 장치(100)의 각 구성요소의 크기가 크게 도시된 바, 손가락과 장치(100)의 크기 비율은 도면에 도시된 바와 같이 한정되지 않는다. 이하 모든 실시예에서도 피사체와 장치(100)의 각 구성요소간의 비율이 도면에 도시된 바와 같이 한정되지 않는다.
도 3a에 따르면, 광원(110)은 슬릿을 통과한 광을 피사체를 향해 일정한 각도로 조사하게 된다. 조사된 광 중의 일부의 광은 손가락의 위치(310)에 의해 산란 및 반사하게 된다. 산란 및 반사된 광의 일부는 렌즈(120)에 의해 집광되어, 픽셀 어레이로 구성된 이미지 센서(130)의 픽셀의 위치(320)에 맺히게 된다.
따라서, 처리부(140)는 집광된 광을 수광하는 이미지 센서(130) 내의 위치(320)에 있는 픽셀을 검출할 수 있고, 손가락의 위치(310)에 대응되는 위치(320)에 있는 픽셀을 검출함으로써, 손가락의 위치(310)를 인식할 수 있다. 처리부(140)가 이미지 센서(130) 내의 위치(320)에 있는 픽셀을 검출하는 내용에 대해서는 도 7에서 자세히 설명할 것이다.
도 3b에 따르면, 도 3a의 손가락의 위치가 위치(310)에서 위치(330)로 변화한 것을 볼 수 있다. 도 3a와 마찬가지로, 광원(110)으로부터 조사된 광 중의 일부의 광은 손가락의 위치(330)에 의해 산란 및 반사하게 된다. 산란 및 반사된 광의 일부는 렌즈(120)에 의해 집광되어, 이미지 센서(130)내의 위치(340)에 있는 픽셀에 맺히게 된다.
따라서, 처리부(140)는 집광된 광을 수광하는 이미지 센서(130) 내의 위치(340)에 있는 픽셀을 검출할 수 있고, 손가락의 위치(330)에 대응되는 위치(340)에 있는 픽셀을 검출함으로써, 손가락의 위치(330)를 인식할 수 있다. 또한, 처리부(140)는, 손가락의 위치가 위치(310)에서 위치(330)로 변함에 따라, 집광된 광을 수광하는 이미지 센서(130)의 픽셀의 위치(320)가 위치(340)로 변하는 것을 검출할 수 있고, 결국 손가락의 움직임에 따른 집광된 광을 수광하는 픽셀의 위치 이동을 검출하여, 검출된 픽셀의 위치 이동으로 손가락의 움직임을 추적할 수 있다. 또한, 처리부(140)는 손가락의 위치가 광원으로부터 멀어질수록, 집광된 광을 수광하는 이미지 센서(130)의 픽셀의 위치가 광원 쪽에 가까워지는 것을 인식할 수 있다.
또한, 처리부(140)는 손가락의 위치 변화량을 픽셀의 위치 이동량을 통해 산출할 수 있다. 도면에 도시된 바와 같이, 손가락의 위치 변화량을 △Z라고 하고, 픽셀의 위치 이동량을 △Y라고 하고, 광원이 수평면으로부터 광을 조사한 각도를 n이라고 하고, 렌즈의 배율을 m이라고 할 때, 손가락의 위치 변화량은 하기와 같은 식에 의해 산출된다.
Figure 112014080666791-pat00001
다만, 상기 수학식 1은 이상적인 수치를 다루는 바, 공기 중에서의 굴절 및 산란 등에 의한 오차를 감안하여야 할 것이다.
도 4는, 일 실시예에 따라, 도 2의 x축 좌표상에서 피사체의 움직임을 추적하는 방식을 설명하기 위한 도면이다. 도 4a 및 도 4b는 도 2의 y축의 음의 방향으로 장치(100)를 바라본 것을 나타낸 것이다. 이하에서는, 피사체는 손가락을 예시로 하여 설명하기로 한다.
도 4a에 따르면, 광원(미도시)은 슬릿을 통과한 광을 피사체를 향해 일정 각도로 조사하게 된다. 조사된 광 중의 일부의 광은 손가락의 위치(410)에 의해 산란 및 반사하게 된다. 산란 및 반사된 광의 일부는 렌즈(120)에 의해 집광되어, 2차원의 픽셀 어레이로 구성된 이미지 센서(130)내의 위치(420)에 있는 픽셀에 맺히게 된다.
따라서, 처리부(140)는 집광된 광을 수광하는 이미지 센서(130)내의 위치(420)에 있는 픽셀을 검출할 수 있고, 손가락의 위치(410)에 대응되는 위치(420)에 있는 픽셀을 검출함으로써, 손가락의 위치(410)를 인식할 수 있다. 처리부(140)가 이미지 센서(130)내의 위치(420)에 있는 픽셀을 검출하는 내용은 도 7에서 자세히 설명할 것이다.
도 4b에 따르면, 도 4a의 손가락의 위치가 위치(410)에서 위치(430)로 변화한 것을 볼 수 있다. 도 4a와 마찬가지로, 광원(미도시)으로부터 조사된 광 중의 일부의 광은 손가락의 위치(430)에 의해 산란 및 반사하게 된다. 산란 및 반사된 광의 일부는 렌즈(120)에 의해 집광되어, 이미지 센서(130)내의 위치(440)에 있는 픽셀에 맺히게 된다.
따라서, 처리부(140)는 집광된 광을 수광하는 이미지 센서(130)내의 위치(440)에 있는 픽셀을 검출할 수 있고, 손가락의 위치(420)에 대응되는 위치(440)에 있는 픽셀을 검출함으로써, 손가락의 위치(440)를 인식할 수 있다. 또한, 처리부(140)는, 손가락의 위치가 위치(410)에서 위치(430)로 변함에 따라, 집광된 광을 수광하는 이미지 센서(130)의 픽셀의 위치(420)가 위치(440)로 변하는 것을 검출할 수 있고, 결국 집광된 광을 수광하는 이미지 센서(130)의 픽셀의 위치 이동을 검출하여, 검출된 픽셀의 위치 이동으로 피사체의 움직임을 추적할 수 있다. 또한, 처리부(140)는 손가락의 위치가 x축의 양의 방향으로 갈수록, 집광된 광을 수광하는 이미지 센서(130)의 픽셀의 위치가 x축의 음의 방향으로 변화되는 것을 인식할 수 있다.
도 5는, 도 3 및 도 4의 내용을 종합하여 피사체의 위치 변화를 인식하는 예시를 나타낸다. 이하에서는, 피사체는 일 실시예에 따라 손가락을 예시로 한다. 또한, 도면에서는, 편의에 따라, 장치(100)의 일부인 이미지 센서(130) 및 광원(110)만 도시되고 나머지 구성요소들은 생략된 것으로 본다. 또한, 손가락에 의해 산란 및 반사되는 과정과 렌즈(미도시)에 의해 집광되는 과정에 의한 묘사는 생략되었다.
도면에 도시된 바와 같이, 광원(110)으로부터 광이 조사되고, 손가락은 ‘ㄱ’이라는 글자를 표현하기 위해 위치(510)에서 위치(520)로 이동하고, 위치(520)에서 위치(530)로 이동하게 된다. 손가락이 이동함에 따라, 픽셀 어레이로 구성된 이미지 센서(130)에서 광을 수광하는 픽셀의 위치도 변하게 된다. 따라서, 손가락이 위치(510)에서 위치(520)로 이동할 때, 광을 수광하는 픽셀의 위치는 위치(540)에서 위치(550)로 변하게 된다. 또한, 손가락이 위치(520)에서 위치(530)로 이동할 때, 광을 수광하는 픽셀의 위치는 위치(550)에서 위치(560)로 변동하게 된다.
결국, 장치(100)는 광을 수광하는 픽셀의 위치가 위치(540)에서 위치(550)를 거쳐 위치(560)로 이동하는 것을 검출하여, 피사체의 위치가 위치(510)에서 위치(520)를 거쳐 위치(530)로 움직이는 것을 추적할 수 있다.
도 6은, 일 실시예에 따라, 도 2의 y축 좌표상에서 피사체의 움직임을 인식하는 방식을 설명하기 위한 도면이다. 도 6a 및 도 6b는 도 2의 x축의 음의 방향으로 장치(100)를 바라본 것을 나타낸다. 이하에서는, 피사체는 손가락을 예시로 하여 설명하기로 한다.
도 6a에서, 광원(110)은 슬릿을 통과한 광을 피사체를 향해 일정 각도로 조사하게 된다. 다만, 손가락의 위치(610)가 조사되는 광 위쪽에 있어, 광의 산란 및 반사는 일어나지 않는다. 따라서, 이미지 센서(130)는 반사되는 광 또는 렌즈(120)에 의해 집광되는 광을 수광하지 않는다.
도 6b에서, 손가락의 위치는 y축의 음의 방향으로 움직이게 되어 위치(620)로 이동한다. 손가락의 위치가 이동함에 따라, 광원(110)으로부터 조사된 광이 손가락의 위치(620)에서 산란 및 반사되고, 반사된 광이 렌즈(120)에 의해 집광되어 이미지 센서(130)에 맺히게 된다.
따라서, 처리부(140)는 이미지 센서(130)에서 집광된 광을 수광하는 픽셀의 존재 유무에 따라 피사체의 y축의 움직임을 감지할 수 있다. 즉, 일정 시간 동안 이미지 센서(130)에서 검출되는 픽셀이 없다가 검출되는 픽셀이 있는 경우, 처리부(140)는 피사체의 y축의 음의 방향으로의 움직임을 인식하게 된다. 또한, 일정 시간 동안 이미지 센서(130)에서 검출되는 픽셀이 있다가 검출되는 픽셀이 없는 경우, 처리부(140)는 피사체의 y축의 양의 방향으로의 움직임을 인식하게 된다.
도 7은, 장치(100)가 광을 수광하는 이미지 센서 내에 위치한 특정 픽셀을 검출하는 내용을 나타낸다. 즉, 보다 구체적으로는, 장치(100)내에 구비된 처리부(140)가 광을 수광하는 이미지 센서 내에 위치한 특정 픽셀을 검출하는 내용을 나타낸다.
일 실시예에 따라, 이미지 센서(130)는, 도면에 도시된 바와 같이, 2차원의 픽셀 어레이들로 구성될 수 있다. 픽셀의 개수나 모양은 도면에 도시된 것으로 한정되지 않는다. 이미지 센서(130)는 도 1의 렌즈(120)로부터 집광된 광을 수광하는 바, 도면에 도시된 바와 같이, 일정 영역(710)의 픽셀들이 광을 수광할 수 있다. 도면에서는 광을 수광하는 영역이 타원형인 것으로 도시되었으나, 이에 한정되지 않는다.
일 실시예에 따라, 광을 수광하는 일정 영역(710)에 포함되는 픽셀들은 서로 다른 광의 세기로 광을 수광한다. 위쪽에 배치된 그래프(720)는 x축은 좌우 방향의 픽셀들의 위치를 나타내고, y축은 픽셀들이 수광하는 광의 세기를 나타내는 그래프이다. 또한, 오른쪽에 배치된 그래프(730)의 x축은 상하 방향의 픽셀들의 위치를 나타내고, y축은 픽셀들이 수광하는 광의 세기를 나타내는 그래프이다. 두 개의 그래프(720,730)의 모양은 가우시안 분포와 같이, 가운데 영역이 광의 세기가 제일 크고, 가운데 영역에서 멀어질수록 광의 세기가 점차 작아지는 것을 나타낸다. 이러한 가우시안 분포 또한, 도면에 도시된 것으로 한정되지 않는다.
일 실시예에 따라, 처리부(140)는 광의 세기에 대한 임계값을 설정하여, 설정된 임계값보다 큰 광의 세기로 수광하는 픽셀들만을 검출할 수 있다. 따라서, 처리부(140)는 위쪽에 배치된 그래프(720)에서 임계값(740)을 설정하여, 설정된 임계값(740)보다 큰 광의 세기로 수광하는 일정 영역(750)의 픽셀들을 검출할 수 있다. 또한, 처리부(140)는 오른쪽에 배치된 그래프(730)에서 임계값(760)을 설정하여, 설정된 임계값(760)보다 큰 광의 세기로 수광하는 일정 영역(770)의 픽셀들을 검출할 수 있다. 결국, 두 그래프(720,730)의 두 영역(750,770)이 공통된 영역(780)의 픽셀들을 처리부(140)는 검출할 수 있다. 즉, 처리부(140)는 광의 세기에 대한 임계값을 설정하여, 설정된 임계값보다 큰 광을 수광하는 픽셀을 검출하여, 검출된 픽셀의 위치에 대응되는 피사체의 위치를 인식할 수 있다.
또한, 처리부(140)는 일 실시예에 따라, 상기와 같은 과정 없이, 광을 수광하는 복수의 픽셀들 중 중심 위치에 있는 픽셀을 검출하여, 그 픽셀의 위치를 인식할 수 있다.
도 8은 다른 실시예에 따라, 장치(100)를 설명하기 위한 도면이다. 장치(100)는 도 1의 광원(110), 렌즈(120), 이미지 센서(130) 및 처리부(140) 외에도 필터(810), 인식부(820) 및 표시부(830)를 더 구비할 수 있다.
필터(810)는 일 실시예에 따라, 소정의 파장을 갖는 광만을 투과시킬 수 있는 필터일 수 있다. 예를 들어, 광원(110)이 적외선 광을 피사체를 향해 조사하는 경우, 피사체에 의해 반사된 광 또는 렌즈에 의해 집광된 광 중에 적외선 광을 필터(810)를 통해 선택적으로 투과시킬 수 있다. 구체적인 설명은 도 9에서 설명하기로 한다.
인식부(820)는 일 실시예에 따라, 처리부(140)에 의해 검출된 픽셀의 위치 이동에 따른 패턴을 인식할 수 있다. 즉, 피사체의 움직임에 따라, 이미지 센서(130)의 픽셀 어레이 중에 피사체에 의해 반사된 광을 수광하는 픽셀의 위치가 변동될 수 있고, 인식부(820)는 광을 수광하는 픽셀의 위치가 변동되는 패턴을 인식할 수 있다. 구체적인 설명은 도 10에서 설명하기로 한다.
표시부(830)는 일 실시예에 따라, 처리부(140)에 의해 이미지 센서(130) 내에 검출된 픽셀의 위치 이동에 따른 패턴을 디스플레이할 수 있다. 또한, 표시부(830)는 표시 패널(미도시)을 포함할 수 있는 바, 표시 패널은 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, AM-OLED(Active-Matrix Organic Light-Emitting Diode), PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다.
또한, 일 실시예에 따라, 장치(100)는 피사체의 움직임을 보다 정확히 파악할 수 있도록 보조하는 마커(미도시)를 포함할 수 있다. 예를 들어, 피사체에 부착된 마커(미도시)는 광원(110)으로부터 조사된 광에 대한 산란을 줄일 수 있어, 피사체에 의해 반사된 광이 이미지 센서의 특정 픽셀의 위치에 보다 정확히 맺힐 수 있다.
도 9는, 일 실시예에 따라, 필터를 포함하는 장치(100)를 설명하기 위한 도면이다.
광원(110)은, 일 실시예에 따라, 적외선 광을 피사체를 향해 조사할 수 있다. 조사된 적외선 광은 피사체에 의해 반사될 수 있고, 반사된 광은 렌즈(120)에 의해 집광되어 이미지 센서(130)에 맺힐 수 있다. 이 경우, 필터(910)는 렌즈(120)와 이미지 센서(130) 사이에 위치하여 집광된 광 중에 적외선 광만을 선택적으로 투과할 수 있고, 이미지 센서(130)는 집광된 적외선 광만을 수광할 수 있다. 이 경우, 이미지 센서(130)는 적외선 광에 의해 선택적으로 반응하는 센서가 될 수도 있다. 또한, 도면에 도시된 바와 다르게, 필터(910)는 렌즈(120)와 피사체(1020) 사이에 위치할 수 있고, 렌즈(120)가 필터(910)의 기능을 수반할 수도 있다. 실시 예에 있어서, 적외선 광 이외의 다른 종류의 광이어도 무방하다.
도 10은, 일 실시예에 따라, 장치(100)에 포함된 인식부의 기능을 설명하기 위한 도면이다. 또한, 도 10a에서는, 편의에 따라, 장치(100)의 일부인 이미지 센서(130) 및 광원(110)만 도시되고 나머지 구성요소들은 생략된 것으로 본다.
도 10a는, 일 실시예에 따라, 손가락이 장치(100)의 측면에서 ‘ㄱ’이라는 글자를 그린 경우, 이미지 센서(130)에서 검출된 픽셀들을 나타내는 도면이다. 손가락은 ‘ㄱ’이라는 글자를 매끄럽게 그렸지만, 실질적으로 도면에서 볼 수 있듯이 이미지 센서(130)에서 검출된 픽셀들은 매끄럽지 못할 수가 있다. 이 경우, 인식부(820)는 이미지 센서(130)에서 검출된 픽셀들의 위치 이동의 패턴을 인식하여 ‘ㄱ’이라는 글자를 인식할 수 있다. 이러한 인식은, 인식부(820)가 ‘ㄱ’이라는 글자와 대응되는 수많은 픽셀들의 위치 이동 패턴을 학습하여 인식할 수 있다. 본 예에서는 ‘ㄱ’이라는 글자를 예시로 하였지만, 다른 글자여도 무방하다.
또한, 사용자는 인식부(820)를 통해 특정 패턴을 인식할 수 있도록 설정할 수 있다. 예를 들어, 피사체의 y축의 움직임을 장치(100)의 입력 기능으로써의 ‘클릭’으로 인식할 수 있도록 설정할 수 있다. 즉, 일정 시간 동안, 처리부(140)에 의해 이미지 센서(130)에서 검출되는 픽셀이 없다가, 다시 검출되는 픽셀이 있고, 다시 검출되는 픽셀이 없는 경우, 인식부(820)는 이러한 피사체의 y축의 움직임을 ‘클릭’ 입력으로써 인식할 수 있다.
도 10b는, 일 실시예에 따라, 도 10a에서 인식부(820)가 인식한 ‘ㄱ’이라는 글자를 장치(100)에 포함된 표시부(1030)에 디스플레이하는 것을 나타낸다.
이처럼, 실시예에 따른 장치(100)는 웨어러블 디바이스, 스마트 폰 등 휴대용 기기에 장착될 수 있어, 근거리 영역에서의 손 글씨 인식 입력 장치 등 다양한 유저 인터페이스에서의 모션 인식 장치로의 활용이 가능하다. 또한, 산업 현장에서의 특정 물체의 절대 위치 좌표 검출용 디바이스로의 활용도 가능할 것이다.
도 11은, 일 실시예에 따라, 도 1의 장치(100)에 의해 수행되는 피사체의 움직임을 인식하는 방법을 나타내는 도면이다.
단계 s1110에서, 장치(100)에 포함된 광원은 피사체를 향해 광을 조사할 수 있다. 광원은 기 설정된 각도로 광을 조사할 수 있으며, 광은 슬릿(slit)을 통과한 광이 될 수 있다. 또한, 광원은 적외선과 같은 소정의 파장을 갖는 광을 조사할 수 있다.
단계 s1120에서, 장치(100)에 포함된 이미지 센서는 피사체로부터 반사된 광을 수광할 수 있다. 또한, 장치(100)에 포함된 렌즈는 피사체에 의해 반사된 광 중의 일부를 집광할 수 있고, 이미지 센서는 집광된 광을 수광할 수 있다. 일 실시예에 따라, 이미지 센서는 픽셀 어레이(pixel array)로 구성될 수 있으며, 픽셀 어레이 중 특정 픽셀이 렌즈에 의해 집광된 광을 수광할 수 있다.
단계 s1130에서, 장치(100)는 이미지 센서의 픽셀 어레이 중에 피사체에 의해 반사된 광 또는 렌즈에 의해 집광된 광을 수광하는 픽셀을 검출할 수 있다. 일 실시예에 따라, 장치(100)가 픽셀을 검출한다는 것은, 처리부(140)가 이미지 센서 내의 광을 수광하는 특정 픽셀을 검출하여, 특정 픽셀이 픽셀 어레이 중에 어느 위치에 있는지를 인식하는 것을 의미할 수 있다. 따라서, 검출되는 픽셀의 위치와 피사체의 위치를 일대일 대응시킬 수 있다. 장치(100)가 광을 수광하는 픽셀을 검출하는 자세한 내용은 도 12에 의한다.
단계 s1140에서, 장치(100)는 s1130에서 검출된 픽셀의 위치 이동에 기초하여 피사체의 움직임을 추적할 수 있다. 즉, 장치(100)는 피사체의 움직임에 따른 반사 및 집광된 광을 수광하는 픽셀의 위치 이동을 검출하여, 검출된 픽셀의 위치 이동으로 피사체의 움직임을 추적할 수 있다. 또한, 장치(100)는 일 실시예에 따라, 검출된 픽셀의 위치 이동량에 기초하여, 피사체가 움직인 거리를 산출할 수 있다.
도 12는, 일 실시예에 따라, 도 11의 단계 1130을 보다 구체적으로 설명하기 위한 도면이다.
단계 s1210에서, 장치(100)는 이미지 센서 내에 포함된 픽셀 어레이 중 특정 픽셀이 피사체에 의해 반사된 광 또는 렌즈에 의해 집광된 광을 수광하는 지 여부를 판단한다. 판단 결과, 광을 수광하지 않는다면 특정 픽셀은 장치에 의해 검출되지 않는 것으로 본다.(S1240)
s1210에서 특정 픽셀이 광을 수광한다고 판단되었다면, 단계 s1220에서는, 장치(100)는 특정 픽셀이 수광하는 광의 세기가 소정의 임계값보다 큰지 여부를 판단한다. 소정의 임계값은 장치(100)에 의해 미리 설정될 수 있다. 판단 결과, 광의 세기가 소정의 임계값보다 크지 않는다면 특정 픽셀은 장치(100)에 의해 검출되지 않는 것으로 본다.(S1240)
s1220에서, 특정 픽셀이 소정의 임계값보다 큰 광의 세기로 광을 수광한다면, 장치(100)는 특정 픽셀을 검출하는 것으로 본다.(s1230)
또한, 장치(100)는 일 실시예에 따라, 상기와 같은 과정 없이, 광을 수광하는 복수의 픽셀들 중 중심 위치에 있는 픽셀을 검출하여, 그 픽셀의 위치를 인식할 수 있다.
상기 살펴 본 실시 예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
본 실시 예에서 설명하는 특정 실행들은 예시들로서, 어떠한 방법으로도 기술적 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.
본 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 한정되는 것은 아니다. 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

Claims (19)

  1. 피사체를 향해 광을 조사하는 광원;
    상기 조사된 광이 상기 피사체에 의해 반사되어, 반사된 광을 집광하는 렌즈;
    복수의 픽셀들의 픽셀 어레이(pixel array)를 포함하고, 상기 픽셀 어레이에서 상기 피사체로부터 반사되어 상기 렌즈를 통해 집광된 광을 수광하는 단일 이미지 센서; 및
    상기 픽셀 어레이(pixel array)의 픽셀들 중에서, 상기 피사체의 현재 위치에 대응하여 상기 집광된 광을 수광한 픽셀을 검출하고, 상기 피사체의 현재 위치에 대응하여 상기 검출된 픽셀의 위치가 이동되는 것에 기초하여 상기 피사체의 움직임을 추적하는 처리부;를 포함하고,
    상기 이미지 센서에서 상기 검출된 픽셀의 위치들이 변화하는 경로는 상기 피사체의 움직임의 경로를 나타내는 패턴에 대응하고,
    상기 처리부는 상기 광원에 의해 광이 조사되는 각도를 조절함으로써 상기 피사체가 움직인 거리와 상기 피사체가 움직인 거리에 따른 상기 검출된 픽셀의 위치 이동량의 비율을 조절하고, 상기 검출된 픽셀의 위치 이동량에 기초하여, 상기 피사체가 움직인 거리를 산출하는, 피사체의 움직임을 인식하는 장치.
  2. 제 1 항에 있어서,
    상기 피사체로부터 반사된 광에서 소정의 파장을 갖는 광을 통과시키는 필터를 더 포함하고,
    상기 처리부는 상기 통과된 광을 수광하는 픽셀을 검출하는, 피사체의 움직임을 인식하는 장치.
  3. 제 1 항에 있어서,
    상기 처리부는,
    광의 세기에 대한 임계값을 설정하여, 상기 반사된 광 중에 상기 설정된 임계값보다 큰 광을 수광하는 픽셀을 검출하는, 피사체의 움직임을 인식하는 장치.
  4. 제 1 항에 있어서,
    상기 처리부는,
    상기 픽셀 어레이 중에 상기 반사된 광을 수광하는 픽셀이 복수인 경우, 상기 복수의 픽셀 중 중심 위치에 있는 픽셀을 검출하는, 피사체의 움직임을 인식하는 장치.
  5. 삭제
  6. 삭제
  7. 제 1 항에 있어서,
    상기 검출된 픽셀의 위치 이동에 따른 패턴을 인식하는 인식부를 더 포함하는, 피사체의 움직임을 인식하는 장치.
  8. 제 1 항에 있어서,
    상기 광원은,
    슬릿(slit) 을 통과한 광을 조사하는, 피사체의 움직임을 인식하는 장치.
  9. 제 1 항에 있어서,
    상기 검출된 픽셀의 위치 이동에 따른 패턴을 디스플레이하는 표시부를 더 포함하는, 피사체의 움직임을 인식하는 장치.
  10. 광원으로부터 피사체를 향해 광을 조사하는 단계;
    상기 조사된 광이 피사체로부터 반사되어, 반사된 광을 렌즈를 통해 집광하여 이미지 센서가 수광하는 단계;
    상기 이미지 센서에 포함된 픽셀 어레이(pixel array)의 픽셀들 중에서, 상기 피사체의 현재 위치에 대응하여 상기 집광된 광을 수광한 픽셀을 검출하는 단계;
    상기 검출된 픽셀의 위치 이동량에 기초하여, 상기 피사체가 움직인 거리를 산출하는 단계; 및
    상기 피사체의 현재 위치에 대응하여 상기 검출된 픽셀의 위치가 이동되는 것에 기초하여 상기 피사체의 움직임을 추적하는 단계;를 포함하고,
    상기 이미지 센서에서 상기 검출된 픽셀의 위치들이 변화하는 경로는 상기 피사체의 움직임의 경로를 나타내는 패턴에 대응하고,
    상기 광을 조사하는 단계는 처리부에 의해 설정된 상기 광원으로부터 광이 조사되는 각도에 기초하여, 상기 광을 조사하고,
    상기 광이 조사되는 각도에 기초하여, 상기 피사체가 움직인 거리와 상기 피사체가 움직인 거리에 따른 상기 검출된 픽셀의 위치 이동량의 비율이 조절되는, 피사체의 움직임을 인식하는 방법.
  11. 제 10 항에 있어서,
    상기 피사체로부터 반사된 광에서 소정의 파장을 갖는 광을 필터링하는 단계;를 더 포함하고,
    상기 픽셀을 검출하는 단계는,
    상기 필터링된 소정의 파장을 갖는 광을 수광하는 픽셀을 검출하는 단계를 포함하는, 피사체의 움직임을 인식하는 방법.
  12. 제 10 항에 있어서,
    상기 픽셀을 검출하는 단계는,
    광의 세기에 대한 임계값을 설정하여, 상기 반사된 광 중에 상기 설정된 임계값보다 큰 광을 수광하는 픽셀을 검출하는 단계를 포함하는 것인, 피사체의 움직임을 인식하는 방법.
  13. 제 10 항에 있어서,
    상기 픽셀을 검출하는 단계는,
    상기 픽셀 어레이 중에 상기 반사된 광을 수광하는 픽셀이 복수인 경우, 상기 복수의 픽셀 중 중심 위치에 있는 픽셀을 검출하는 단계를 포함하는 것인, 피사체의 움직임을 인식하는 방법.
  14. 삭제
  15. 삭제
  16. 제 10 항에 있어서,
    상기 검출된 픽셀의 위치 이동에 따른 패턴을 인식하는 단계를 더 포함하는, 피사체의 움직임을 인식하는 방법.
  17. 제 10 항에 있어서,
    상기 피사체를 향해 조사되는 광은 슬릿(slit)을 통과한 광인 것인, 피사체의 움직임을 인식하는 방법.
  18. 제 10 항에 있어서,
    상기 검출된 픽셀의 위치 이동에 따른 패턴을 디스플레이하는 단계;를 더 포함하는, 피사체의 움직임을 인식하는 방법.
  19. 제 10 항 내지 제 13 항 및 제 16 항 내지 제 18 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020140110958A 2014-08-25 2014-08-25 피사체의 움직임을 인식하는 장치 및 그 동작 방법 KR102263064B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140110958A KR102263064B1 (ko) 2014-08-25 2014-08-25 피사체의 움직임을 인식하는 장치 및 그 동작 방법
US14/624,715 US9857877B2 (en) 2014-08-25 2015-02-18 Apparatus and method of recognizing movement of subject
US15/824,163 US10401969B2 (en) 2014-08-25 2017-11-28 Apparatus and method of recognizing movement of subject

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140110958A KR102263064B1 (ko) 2014-08-25 2014-08-25 피사체의 움직임을 인식하는 장치 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20160024307A KR20160024307A (ko) 2016-03-04
KR102263064B1 true KR102263064B1 (ko) 2021-06-10

Family

ID=55348296

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140110958A KR102263064B1 (ko) 2014-08-25 2014-08-25 피사체의 움직임을 인식하는 장치 및 그 동작 방법

Country Status (2)

Country Link
US (2) US9857877B2 (ko)
KR (1) KR102263064B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240044174A (ko) 2022-09-28 2024-04-04 문재영 시차 분석을 기반으로 하는 거리맵 산출 방법 및 그를 위한 시스템

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102237828B1 (ko) * 2014-08-22 2021-04-08 삼성전자주식회사 동작 인식 장치 및 이를 이용한 동작 인식 방법
KR20180014992A (ko) 2016-08-02 2018-02-12 삼성전자주식회사 이벤트 신호 처리 방법 및 장치
KR101941369B1 (ko) * 2017-06-24 2019-01-23 주식회사 카피모션 광학식 모션 트랙킹 센서
CN109791439A (zh) * 2017-07-24 2019-05-21 深圳市柔宇科技有限公司 手势识别方法、头部可穿戴设备和手势识别装置
KR102402477B1 (ko) * 2017-08-04 2022-05-27 엘지이노텍 주식회사 ToF 모듈
KR20220030774A (ko) * 2020-09-03 2022-03-11 삼성전자주식회사 전자 장치 및 사용자의 시선 정보 획득 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070103441A1 (en) * 2005-11-08 2007-05-10 Microsoft Corporation Optical tracker for tracking surface-independent movements

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3471201B2 (ja) * 1997-09-05 2003-12-02 株式会社東芝 撮像モジュール、および撮像装置
US8660300B2 (en) 2008-12-12 2014-02-25 Silicon Laboratories Inc. Apparatus and method for optical gesture recognition
US8619029B2 (en) * 2009-05-22 2013-12-31 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting consecutive gestures
EP2507684A2 (en) * 2009-12-04 2012-10-10 Next Holdings Limited Methods and systems for position detection
US20110310005A1 (en) * 2010-06-17 2011-12-22 Qualcomm Incorporated Methods and apparatus for contactless gesture recognition
KR20110138975A (ko) 2010-06-22 2011-12-28 삼성전기주식회사 좌표 인식 장치 및 이를 포함하는 디스플레이 장치, 시큐리티 장치 및 전자 칠판
US8698092B2 (en) * 2010-09-10 2014-04-15 Samsung Electronics Co., Ltd. Method and apparatus for motion recognition
KR101732135B1 (ko) 2010-11-05 2017-05-11 삼성전자주식회사 3차원 영상통신장치 및 3차원 영상통신장치의 영상처리방법
KR101732131B1 (ko) 2010-11-12 2017-05-04 삼성전자주식회사 사용자 위치 기반의 영상 제공 장치 및 방법
KR101694797B1 (ko) * 2010-12-21 2017-01-11 삼성전자주식회사 3차원 이미지 센서의 구동 방법
KR20120126508A (ko) 2011-05-12 2012-11-21 김석중 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법
KR101560308B1 (ko) 2011-07-04 2015-10-14 후아웨이 디바이스 컴퍼니 리미티드 가상 필기 입력을 위한 방법 및 전자 장치
KR101828805B1 (ko) 2011-07-07 2018-03-29 삼성전자주식회사 스테레오 카메라의 3차원 줌 영상 생성 방법 및 장치
US9164589B2 (en) * 2011-11-01 2015-10-20 Intel Corporation Dynamic gesture based short-range human-machine interaction
KR101955334B1 (ko) 2012-02-07 2019-03-07 삼성전자주식회사 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
TW201415291A (zh) * 2012-10-08 2014-04-16 Pixart Imaging Inc 基於物件追蹤的手勢辨識方法及系統
US9602807B2 (en) * 2012-12-19 2017-03-21 Microsoft Technology Licensing, Llc Single frequency time of flight de-aliasing
KR102056904B1 (ko) 2013-05-22 2019-12-18 삼성전자주식회사 3차원 영상 획득 장치 및 그 구동 방법
KR102153045B1 (ko) 2013-12-04 2020-09-07 삼성전자주식회사 파장 분리 소자 및 이를 포함하는 3차원 영상 획득 장치
US9649558B2 (en) * 2014-03-14 2017-05-16 Sony Interactive Entertainment Inc. Gaming device with rotatably placed cameras
US20150323998A1 (en) * 2014-05-06 2015-11-12 Qualcomm Incorporated Enhanced user interface for a wearable electronic device
US9575560B2 (en) * 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070103441A1 (en) * 2005-11-08 2007-05-10 Microsoft Corporation Optical tracker for tracking surface-independent movements

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240044174A (ko) 2022-09-28 2024-04-04 문재영 시차 분석을 기반으로 하는 거리맵 산출 방법 및 그를 위한 시스템

Also Published As

Publication number Publication date
US20180088680A1 (en) 2018-03-29
US20160054812A1 (en) 2016-02-25
KR20160024307A (ko) 2016-03-04
US9857877B2 (en) 2018-01-02
US10401969B2 (en) 2019-09-03

Similar Documents

Publication Publication Date Title
KR102263064B1 (ko) 피사체의 움직임을 인식하는 장치 및 그 동작 방법
US20130127705A1 (en) Apparatus for touching projection of 3d images on infrared screen using single-infrared camera
US20160328854A1 (en) Distance sensor
US20150043770A1 (en) Speckle sensing for motion tracking
US8786576B2 (en) Three-dimensional space touch apparatus using multiple infrared cameras
WO2012124730A1 (ja) 検出装置、入力装置、プロジェクタ、及び電子機器
US8902435B2 (en) Position detection apparatus and image display apparatus
KR20110005738A (ko) 대화형 입력 시스템 및 대화형 입력 시스템용 조명 어셈블리
CN117590582A (zh) 头戴式显示设备及其操作方法
JP2014122789A (ja) 情報取得装置、投射装置および物体検出装置
US20080117412A1 (en) Optical navigation system and method of estimating motion with optical lift detection
US9285887B2 (en) Gesture recognition system and gesture recognition method thereof
US20140346957A1 (en) Medical lighting system, in particular an operating lighting system, and a method of controlling such a lighting system
US20210389818A1 (en) System and method for human interaction with virtual objects
WO2016089306A9 (en) Gesture recognition devices, gesture recognition methods, and computer readable media
KR20130055118A (ko) 싱글 적외선 카메라 방식의 공간 터치 장치
KR100977558B1 (ko) 적외선 스크린 방식의 공간 터치 장치
KR101071864B1 (ko) 터치 및 터치 제스처 인식 시스템
KR102158613B1 (ko) 공간 터치 감지 방법 및 이를 수행하는 표시 장치
CN113661433B (zh) 头戴式显示设备及其操作方法
KR20130076297A (ko) 입력 장치 및 그 동작 방법
KR20220058277A (ko) 스테레오 매칭 방법 및 이를 수행하는 영상 처리 장치
CN114051656A (zh) 从具有机发光二极管显示屏幕的设备投射结构光图案
US20160146592A1 (en) Spatial motion sensing device and spatial motion sensing method
CN105988575A (zh) 手势感测模块、方法及其电子装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right