KR20120090630A - Apparatus and method for measuring 3d depth by an infrared camera using led lighting and tracking hand motion - Google Patents
Apparatus and method for measuring 3d depth by an infrared camera using led lighting and tracking hand motion Download PDFInfo
- Publication number
- KR20120090630A KR20120090630A KR1020110011161A KR20110011161A KR20120090630A KR 20120090630 A KR20120090630 A KR 20120090630A KR 1020110011161 A KR1020110011161 A KR 1020110011161A KR 20110011161 A KR20110011161 A KR 20110011161A KR 20120090630 A KR20120090630 A KR 20120090630A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- variable
- motion
- hand
- skin
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 단일 적외선 카메라와 파장이 다른 LED 조명의 조합을 이용하여 거리 측정하는 방법과 동작 검출에 관련된 것으로, 보다 자세하게는 피부 검출을 바탕으로 한 거리 측정과 손의 움직임과 손 모양의 변화를 검출하는 기술에 관한 것이다.
The present invention relates to a method for measuring distance and a motion detection using a combination of a single infrared camera and LED light having different wavelengths, and more particularly, to measure distance based on skin detection and to detect hand movement and hand shape change. It is about technology to do.
수많은 전자제품을 조작하기 위해 다양한 입력 방식이 이용되고 있다. 대표적인 입력 방식으로는 버튼, 터치스크린을 통한 입력 방식이 있다. 하지만 버튼, 터치스크린은 전자제품 또는 리모트 컨트롤러에 장착되어, 사용자가 직접 버튼과 터치스크린을 누르거나 터치해야 하는 불편한 점이 있다.Various input methods are used to manipulate numerous electronic products. Representative input methods include buttons and a touch screen. However, buttons and touch screens are mounted on electronic products or remote controllers, and users have to press or touch buttons and touch screens directly.
이에 따라, 새로운 입력 방식인 사람의 신체 움직임을 감지하여, 감지된 움직임의 형태에 따라 입력을 수행하는 방식이 제안되었다.Accordingly, a method of sensing a human body motion, which is a new input method, and performing an input according to the detected motion type has been proposed.
사람의 신체 중 손은 다양한 움직임을 표현할 수 있다. 따라서, 손의 움직임을 정확하게 감지한다면 손의 움직임만으로 다양한 입력을 수행할 수 있다.하지만, 손은 다양한 움직임을 표현할 수 있는 반면 그 형태가 복잡하여 일반적인 움직임 인식 알고리즘으로는 정확하게 인식되기 어려운 문제점이 있다.Hands in the human body can express various movements. Therefore, if the hand movement is accurately detected, various inputs can be performed only by the movement of the hand. However, the hand can express various movements, but its shape is complicated, which makes it difficult to be accurately recognized by general motion recognition algorithms. .
일반적인 손을 감지하는 방법은 모델 기반 검출 방법이 있다. 모델 기반 방법은 손의 형상을 한 3D 또는 2D cardboard 모델과 실제 손을 촬영한 형상을 비교하여 실제 손을 촬영한 형상과 가장 유사한 모델을 선정하여, 사용자의 손의 모양을 손 모델의 형태로 추측하는 방법이다. 하지만 모델 기반 검출 방법은 계산 복잡도가 상당히 높아 실시간으로 동작 검출하기 어려운 점이 있다.A general method of detecting a hand is a model-based detection method. The model-based method compares the 3D or 2D cardboard model with the shape of the hand with the shape of the actual hand, and selects the model that most closely resembles the shape with the actual hand, and estimates the shape of the user's hand as the shape of the hand model. That's how. However, the model-based detection method has a high computational complexity, which makes it difficult to detect motion in real time.
또한 손의 피부색을 이용하여 손을 검출하는 방법이 있으나, 피부색은 조명에 영향을 많이 받기 때문에 환경에 따라 변동이 커서 손을 검출하기 어려운 점이 있다.
In addition, there is a method of detecting a hand using the skin color of the hand. However, since the skin color is affected by the illumination a lot, it is difficult to detect the hand due to the large fluctuation depending on the environment.
본 발명은 적외선 LED 조명을 이용한 피부 검출과 LED 조명의 세기 조절을 통한 단일 적외선 카메라를 이용한 거리 측정과 이를 바탕으로 한 효과적인 손검출 방법, 또한 검출된 손에서 정확한 손모양을 추적하고 인식하는 동작 검출 장치를 제공하고자 한다.
The present invention provides skin detection using infrared LED light and distance measurement using a single infrared camera by controlling the intensity of the LED light, an effective hand detection method based on the same, and motion detection to track and recognize the correct hand shape in the detected hand. To provide a device.
본 발명의 일 측면에 따르면, 동작 변수 및 시점 변수에 상응하는 명령어 코드를 저장하는 저장부; 사용자의 손을 촬영하여 촬영 이미지를 생성하는 카메라부; 상기 촬영 이미지에 포함된 상기 손의 윤곽선을 포함하는 윤곽선 이미지를 생성하는 윤곽선 검출부; 및 상기 윤곽선 이미지에 상응하는 상기 동작 변수 및 상기 시점 변수를 산출하고, 산출된 상기 동작 변수 및 상기 시점 변수에 상응하는 명령어 코드를 상기 저장부로부터 추출하는 패턴 검출부를 포함하는 동작 검출 장치가 제공된다.According to an aspect of the invention, the storage unit for storing the instruction code corresponding to the operation variable and the viewpoint variable; A camera unit generating a photographed image by photographing a user's hand; An outline detection unit configured to generate an outline image including an outline of the hand included in the captured image; And a pattern detector for calculating the motion variable and the viewpoint variable corresponding to the contour image and extracting the calculated operation variable and the command code corresponding to the viewpoint variable from the storage. .
상기 패턴 검출부는 상기 명령어 코드를 외부 장치로 전송하여, 상기 외부 장치가 상기 명령어 코드에 따라 동작하도록 제어할 수 있다.The pattern detection unit may transmit the command code to an external device to control the external device to operate according to the command code.
상기 패턴 검출부는 상기 윤곽선 이미지에 상응하는 원통형 좌표계 좌표를 산출하고, 상기 원통형 좌표계 좌표를 상기 동작 변수 및 상기 시점 변수로 변환할 수 있다.The pattern detector may calculate cylindrical coordinate system coordinates corresponding to the contour image, and convert the cylindrical coordinate system coordinates into the motion variable and the viewpoint variable.
상기 카메라부는 파장이 상이한 적외선에 대한 반사광을 감지하여 제1 피부 검출 이미지 및 제2 피부 검출 이미지를 생성하고, 상기 동작 검출 장치는 상기 제1 피부 검출 이미지와 상기 제2 피부 검출 이미지 간의 픽셀 값 차이가 미리 지정된 값 이상인 픽셀에 상응하는 좌표를 포함하는 피부 영역 정보를 생성하는 피부 검출부; 및 상기 피부 영역 정보에 상응하는 각 픽셀 중 픽셀 값이 미리 지정된 범위에 해당하는 픽셀에 좌표에 상응하는 좌표를 포함하는 손 영역 정보를 생성하는 거리 검출부를 더 포함할 수 있다.The camera unit detects reflected light of infrared rays having different wavelengths to generate a first skin detection image and a second skin detection image, and the motion detection apparatus is configured to detect a difference in pixel values between the first skin detection image and the second skin detection image. A skin detector for generating skin region information including coordinates corresponding to a pixel having a greater than or equal to a predetermined value; And a distance detector configured to generate hand region information including coordinates corresponding to coordinates in pixels corresponding to a predetermined range of pixel values among pixels corresponding to the skin region information.
상기 카메라부는 미리 지정된 제1 파장의 적외선을 투사하는 제1 조명모듈; 및 미리 지정된 제2 파장의 적외선을 투사하는 제2 조명모듈를 포함할 수 있다.The camera unit includes a first illumination module for projecting infrared rays of a first predetermined wavelength; And a second illumination module for projecting infrared rays of a second predetermined wavelength.
상기 윤곽선 검출부는 상기 촬영 이미지에서 상기 손 영역 정보에 상응하는 좌표에 해당하는 픽셀을 추출하고, 추출한 픽셀을 포함하는 상기 윤곽선 이미지를 생성할 수 있다.
The contour detector may extract a pixel corresponding to a coordinate corresponding to the hand region information from the captured image, and generate the contour image including the extracted pixel.
본 발명의 다른 측면에 따르면, 동작 검출 장치가 사용자의 손의 동작을 검출하는 방법에 있어서, 사용자의 손을 촬영하여 촬영 이미지를 생성하는 단계; 상기 촬영 이미지에 포함된 상기 손의 윤곽선을 포함하는 윤곽선 이미지를 생성하는 단계; 상기 윤곽선 이미지에 상응하는 상기 동작 변수 및 상기 시점 변수를 산출하는 단계; 미리 저장된 명령어 코드 중 상기 동작 변수 및 상기 시점 변수에 상응하는 명령어 코드를 추출하는 단계를 포함하는 동작 검출 방법이 제공된다.According to another aspect of the present invention, a method for detecting a motion of a user's hand by the motion detection device, the method comprising: photographing the user's hand to generate a photographed image; Generating a contour image including an outline of the hand included in the captured image; Calculating the motion variable and the viewpoint variable corresponding to the contour image; There is provided a motion detection method comprising extracting command codes corresponding to the operation variable and the viewpoint variable from among pre-stored command codes.
상기 동작 검출 방법은 상기 명령어 코드를 외부 장치로 전송하여, 상기 외부 장치가 상기 명령어 코드에 따라 동작하도록 제어하는 단계를 더 포함할 수 있다.The operation detecting method may further include controlling the external device to operate according to the command code by transmitting the command code to an external device.
상기 동작 변수 및 상기 시점 변수를 산출하는 단계는 상기 윤곽선 이미지에 상응하는 원통형 좌표계 좌표를 산출하는 단계; 및 상기 원통형 좌표계 좌표를 상기 동작 변수 및 상기 시점 변수로 변환하는 단계를 포함할 수 있다.The calculating of the motion variable and the viewpoint variable may include calculating cylindrical coordinate system coordinates corresponding to the contour image; And converting the cylindrical coordinate system coordinates into the motion variable and the viewpoint variable.
상기 동작 검출 방법은 파장이 상이한 적외선에 대한 반사광을 감지하여 제1 피부 검출 이미지 및 제2 피부 검출 이미지를 생성하는 단계; 상기 제1 피부 검출 이미지와 상기 제2 피부 검출 이미지 간의 픽셀 값 차이가 미리 지정된 값 이상인 픽셀에 상응하는 좌표를 포함하는 피부 영역 정보를 생성하는 단계; 상기 피부 영역 정보에 상응하는 각 픽셀 중 픽셀 값이 미리 지정된 범위에 해당하는 픽셀에 좌표에 상응하는 좌표를 포함하는 손 영역 정보를 생성하는 단계를 더 포함할 수 있다.The motion detection method may further include generating a first skin detection image and a second skin detection image by detecting reflected light with respect to infrared rays having different wavelengths; Generating skin region information including coordinates corresponding to pixels whose difference in pixel values between the first skin detection image and the second skin detection image is equal to or greater than a predetermined value; The method may further include generating hand region information including coordinates corresponding to coordinates in a pixel corresponding to a predetermined range of pixel values among the pixels corresponding to the skin region information.
상기 윤곽선 이미지를 생성하는 단계는 상기 촬영 이미지에서 상기 손 영역 정보에 상응하는 좌표에 해당하는 픽셀을 추출하는 단계; 및 추출한 상기 픽셀을 포함하는 상기 윤곽선 이미지를 생성하는 단계를 포함할 수 있다.
The generating of the contour image may include extracting a pixel corresponding to the coordinate corresponding to the hand region information from the photographed image; And generating the contour image including the extracted pixels.
본 발명의 실시 예에 의하면, 손목의 회전과 같이 시점이 변하는 복잡한 손의 움직임을 정확하게 인식할 수 있는 효과가 있다. According to an embodiment of the present invention, there is an effect of accurately recognizing the movement of a complex hand that changes the viewpoint such as the rotation of the wrist.
또한 본 발명의 실시 예에 의하면, 단일 적외선 카메라를 이용하여 거리 정보를 측정하고, 거리 정보를 이용하여 손을 정확하게 검출할 수 있는 효과가 있다.In addition, according to an embodiment of the present invention, it is possible to measure distance information using a single infrared camera and to accurately detect a hand using distance information.
도 1은 동작 검출 장치를 간략히 예시한 블록도.
도 2는 동작 검출 장치의 저장부에 저장된 동작 변수 및 시점 변수에 상응하는 샘플 이미지를 예시한 도면.
도 3은 동작 검출 장치가 사용자의 손가락의 동작을 검출하는 방법을 예시한 순서도.1 is a block diagram schematically illustrating a motion detection apparatus.
2 is a diagram illustrating a sample image corresponding to a motion variable and a viewpoint variable stored in a storage unit of a motion detection apparatus.
3 is a flowchart illustrating a method in which a motion detection device detects a motion of a user's finger.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.The present invention may be variously modified and have various embodiments, and specific embodiments will be illustrated in the drawings and described in detail with reference to the accompanying drawings. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.
또한, 본 명세서에서, 일 구성요소가 다른 구성요소로 신호를 "전송한다"로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되어 신호를 전송할 수 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 신호를 전송할 수도 있다고 이해되어야 할 것이다.
Further, in the present specification, when one component is referred to as "transmitting a signal" to another component, the one component may be directly connected to the other component to transmit a signal, but there is a particular opposite description. It is to be understood that unless otherwise, the signal may be transmitted in the intermediary with another component.
도 1은 동작 검출 장치를 간략히 예시한 블록도이다.1 is a block diagram briefly illustrating a motion detection apparatus.
도 1을 참조하면, 동작 검출 장치는 카메라부(110), 윤곽선 검출부(120), 저장부(130) 및 패턴 검출부(140)를 포함한다.Referring to FIG. 1, the motion detection apparatus includes a
카메라부(110)는 사용자의 손을 촬영하여 이미지를 생성하는 카메라이다. 이 때, 카메라부(110)는 조명의 밝기가 변하는 환경 및 어두운 환경에서도 효과적인 인식을 위하여 적외선 카메라일 수 있다. 또한 카메라부(110)는 구현 방법에 따라 가시광 영역을 촬영하는 일반 카메라일 수 있다. 카메라부(110)는 생성한 이미지를 윤곽선 검출부(120)로 전송한다.The
카메라부(110)는 피부영역 및 거리정보를 산출하기 위해 부가적인 촬영을 수행한다. 이하 도 2를 참조하여 카메라부(110)에서 부가적인 촬영 과정을 설명하도록 한다. 카메라부(110)는 적외선을 투사하는 제1 조명모듈(111) 및 제2 조명모듈(112)를 포함한다. 제1 조명모듈(111) 및 제2 조명모듈(112)는 각각의 미리 정해진 파장의 적외선을 투사할 수 있다. 예를 들어, 제1 조명모듈(111)은 파장이 인 적외선을 투사하고, 카메라부(110)는 반사된 적외선을 감지하여 제1 피부 검출 이미지를 생성한다. 이어서, 제2 조명모듈(112)은 파장이 인 적외선을 투사하고, 카메라부(110)는 반사된 적외선을 감지하여 제2 피부 검출 이미지를 생성한다. 카메라부(110)는 제1 피부 검출 이미지 및 제2 피부 검출 이미지를 피부 검출부(114)로 전송한다.The
피부 검출부(114)는 카메라부(110)로부터 수신한 제1 피부 검출 이미지 및 제2 피부 검출 이미지의 픽셀 차이에 따라 피부에 해당하는 영역을 검출한다. 피부는 적외선 파장이 변할 경우, 반사율의 변화가 다른 매질에 비해 크다. 따라서, 피부 검출부(114)는 제1 피부 검출 이미지의 각 픽셀로부터 해당 픽셀의 좌표에 대응하는 제2 피부 검출 이미지의 픽셀을 차감한 값을 산출한다. 피부 검출부(114)는 차감한 값이 지정된 수치 이상인 좌표들을 피부에 해당하는 영역으로 선정한다. 피부 검출부(114)는 제1 피부 검출 이미지 또는 제2 피부 검출 이미지와 피부에 해당하는 각 픽셀의 좌표를 포함하는 피부 영역 정보를 거리 검출부(117)로 전송한다.The skin detector 114 detects an area corresponding to the skin according to a pixel difference between the first skin detection image and the second skin detection image received from the
거리 검출부(117)는 제1 피부 검출 이미지 또는 제2 피부 검출 이미지에서 피부 영역 정보에 포함된 각 좌표에 해당하는 픽셀들에 대해 거리를 검출한다. 각 픽셀 i에서 검출되는 적외선 영상의 밝기 li에 대하여 다음의 관계로 성립한다.The
[수학식 1][Equation 1]
수학식 1에 의하면, 각 픽셀 i에 밝기 li는 반사율 와 시간 t에서의 조명의 밝기 Lt에 비례하고 픽셀 i의 거리 ri에 반비례한다. 즉 조명의 밝기가 밝을수록 카메라에 가깝고, 카메라에서 멀어질수록 밝기가 어두워진다. 따라서, 거리 검출부(117)는 피부에 해당하는 각 픽셀 중 그 값이 미리 지정된 범위에 해당하는 픽셀을 추출한다. 거리 검출부(117)는 추출한 픽셀들에 상응하는 좌표를 포함하는 손 영역 정보를 생성하여 윤곽선 검출부(120)로 전송한다.According to Equation 1, the brightness l i is the reflectance of each pixel i It is proportional to the brightness L t of the illumination at and t and inversely proportional to the distance r i of pixel i. In other words, the brighter the light is, the closer it is to the camera, and the farther it is, the darker it is. Therefore, the
윤곽선 검출부(120)는 거리 검출부(117)로부터 수신한 손 영역 정보에 따라 카메라부(110)로부터 수신한 이미지에서 손에 해당하는 영역만을 추출한 윤곽선 이미지를 생성한다. 윤곽선 검출부(120)는 윤곽선 이미지를 패턴 검출부(140)로 전송한다.The
저장부(130)는 하나 이상의 포즈를 취한 손을 하나 이상의 시점에서 촬영한 샘플 이미지에 상응하는 원통 좌표계 상의 좌표에 상응하는 동작 변수 및 시점 변수를 저장한다. 또한 저장부(130)는 각 동작 변수 및 시점 변수의 조합에 상응하는 명령어 코드를 저장한다. 명령어 코드는 외부 장치에서 지정된 동작을 지시하는 코드이다. The
패턴 검출부(140)는 윤곽선 검출부(120)로부터 윤곽선에 상응하는 명령어 코드를 저장부(130)에서 추출하여 외부로 출력한다. 패턴 검출부(140)는 윤곽선 이미지로부터 시점 변수 및 동작 변수를 산출하고, 산출된 시점 변수 및 동작 변수에 매칭되는 명령어 코드를 저장부(130)로부터 추출할 수 있다. 이 때, 시점 변수는 윤곽선 이미지에 나타난 손의 방향을 나타내는 값이고, 동작 변수는 윤곽선 이미지에 나타난 손의 모양을 나타내는 값이다.The
이하 패턴 검출부(140)가 윤곽선 이미지를 이용하여 시점 변수 및 동작 변수를 생성하는 과정에 대해 설명하도록 한다. Hereinafter, the process of generating the viewpoint variable and the operation variable by the
우선 패턴 검출부(140)는 윤곽선 이미지를 칼럼(column) 누적하여 크기가 n(미리 정해진 상수)인 행렬(이하 누적 행렬이라 지칭)로 나타낸다. 예를 들어, 패턴 검출부(140)는 가로 4 픽셀, 세로 3픽셀인 윤곽선 이미지에서 각각의 행을 차례대로 누적하여 1 x 12의 누적 행렬을 산출한다.First, the
패턴 검출부(140)는 누적 행렬을 하기의 수학식 2에 적용하여 원통형 좌표계 상의 좌표를 산출한다.The
[수학식 2][Equation 2]
이 때, B는 커널 공간 에서 미리 지정된 프로젝션 계수이고, j는 윤곽선 이미지의 누적 행렬이고. S-1은 SVD(singular value decomposition)에 따라 산출된 프로젝션 계수 B에 대한 의사역행렬이다. 는 각 샘플 이미지를 원통형 좌표계 좌표이고, 는 를 최소화하는 추정된 촬영한 이미지에 대한 원통 좌표계 좌표이다. B에 대하여 singular value decomposition(SVD)를 적용하면 아래식과 같이 메트릭스를 분리할 수 있으며, 이렇게 분리된 메트릭스에 대하여 두개의 orthonormal 한 행렬이 각각 U, V이다. S는 diagonal에만 값을 가지는 매트릭스이며 S의 역함수는 diagonal 항목에서 0을 제외한 값에 대하여 역수값, 즉 값이 x라면 1/x의 값을 가지는 함수이다.Where B is the kernel space Where is a predefined projection coefficient, j is the cumulative matrix of the contour image. S −1 is a pseudo inverse of the projection coefficient B calculated according to the singular value decomposition (SVD). Is the cylindrical coordinate system coordinates for each sample image, The Is the cylindrical coordinate system coordinates for the estimated captured image that minimizes. If we apply singular value decomposition (SVD) to B, the matrix can be separated as shown in the following equation, and two orthonormal matrices for the separated matrix are U and V, respectively. S is a matrix having a value only in the diagonal, and the inverse function of S is a function having an inverse value, that is, 1 / x for a value except 0 in the diagonal item.
패턴 검출부(140)는 산출한 원통형 좌표계 좌표 를 하기의 수학식 3에 적용하여 시점 변수(Circular view variation) 및 동작 변수(Non-cyclic motion variation)를 산출한다. 이 때, 는 3차원 좌표로써 (x, y, z)라고 가정한다.
The
[수학식 3]&Quot; (3) "
이 때, Ra 및 Rb는 미리 정해진 상수이고, 는 시점 변수이고, 는 동작 변수이다. 및 는 0 이상 1 이하의 실수일 수 있다. At this time, Ra and Rb is a predetermined constant, Is the point in time variable, Is an action variable. And May be a real number between 0 and 1, inclusive.
이 때, 패턴 검출부(140)는 산출한 원통형 좌표계의 좌표가 하기의 수학식 4 및 수학식 5의 조건을 만족하는 경우에만 상술한 수학식 3에 따른 시점 변수 및 동작 변수를 산출 이후의 과정을 바로 수행한다. 즉, 패턴 검출부(140)는 수학식 4를 만족하지 않는 윤곽선 이미지의 원통형 좌표계 좌표가 산출되는 경우, 윤곽선 이미지의 원통형 좌표계 좌표 (x, y, z)에 대해 x 및 y 각각의 제곱을 합한 값의 제곱근(Rest)를 산출한다. 패턴 검출부(140)는 x 및 y에 Ra/Rest를 곱하여, (x*Ra/Rest , y*Ra/Rest, z)를 산출한다. 이후 패턴 검출부(140)는 산출된 좌표 (x*Ra/Rest , y*Ra/Rest , z)에 따른 시점 변수 및 동작 변수를 산출한다.At this time, the
패턴 검출부(140)는 수학식 5를 만족하지 않는 윤곽선 이미지의 원통형 좌표계 좌표가 산출되는 경우, 저장부(130)에 저장된 각 샘플 이미지에 상응하는 원통형 좌표계의 좌표 중 윤곽선 이미지의 원통형 좌표계 좌표와 가장 가까운 좌표로 근사화될 수 있다. 이후 패턴 검출부(140)는 근사화된 좌표에 따른 시점 변수 및 동작 변수를 산출할 수 있다.
When the cylindrical coordinate system coordinates of the contour image that do not satisfy the equation (5) are calculated, the
[수학식 4]&Quot; (4) "
[수학식 5][Equation 5]
패턴 검출부(140)는 산출된 시점 변수 및 동작 변수에 상응하는 명령어 코드를 저장부(130)로 질의한다. 패턴 검출부(140)는 저장부(130)로부터 명령어 코드를 수신받아 외부로 출력한다.The
패턴 검출부(140)로부터 수신한 해당 명령어 코드에 따라 외부 장치는 동작을 수행할 수 있다. 즉, 동작 검출 장치는 사용자의 손을 촬영하여 생성한 이미지를 분석하여, 손의 모양 및 움직임에 상응하는 명령어 코드를 외부 장치로 출력한다. 예를 들어, 사용자가 TV 채널의 변경을 위한 미리 지정된 형태로 손을 움직이면, 동작 검출 장치는 사용자의 손을 촬영하여 이미지를 생성하고, 생성한 이미지에 상응하는 윤곽선 이미지를 생성한다. 동작 검출 장치는 윤곽선 이미지의 칼럼을 누적하여 누적 행렬을 생성하고, 누적 행렬에 상응하는 원통형 좌표계 좌표를 산출한다. 동작 검출 장치는 원통형 좌표계 좌표에 상응하는 시점 변수 및 동작 변수를 산출한다. 동작 검출 장치는 산출된 시점 변수 및 동작 변수에 상응하는 채널 변경을 위한 명령어 코드를 저장부(130)로부터 추출하고 텔레비전으로 전송한다. 텔레비전은 명령어 코드에 따라 채널을 변경할 수 있다.
The external device may perform an operation according to the corresponding command code received from the
도 2는 동작 검출 장치의 저장부에 저장된 동작 변수 및 시점 변수에 상응하는 샘플 이미지를 예시한 도면이다.FIG. 2 is a diagram illustrating a sample image corresponding to an operation variable and a viewpoint variable stored in a storage unit of the motion detection apparatus.
도 2를 참조하면, 동작 검출 장치의 저장부(130)에 저장된 동작 변수 및 시점 변수는 도 2에 예시된 바와 같이 시점과 손의 모양이 상이한 복수의 샘플 이미지 각각에 상응하도록 산출된 동작 변수 및 시점 변수이다. 즉, 도 2에 예시된 시점 및 모양이 상이한 윤곽선 이미지인 샘플 이미지 각각에 대해 동작 변수 및 시점 변수가 매칭될 수 있다.Referring to FIG. 2, the motion variable and the viewpoint variable stored in the
복수의 샘플 이미지로부터 동작 변수 및 시점 변수를 산출하는 과정은 공지의 기술로써, 이하 간략히 설명하도록 한다.A process of calculating an operation variable and a viewpoint variable from a plurality of sample images is well known and will be briefly described below.
도 2에 예시된 각 샘플 이미지는 정규화되어 크기가 인 2차원 배열로 표현될 수 있다. 2차원 배열을 칼럼 누적에 의하여 나타낸 값을 크기가 인 1차원 벡터로 나타낼 수 있고, 이 벡터를 J라고 가정하도록 한다. 각 샘플 이미지에 상응하는 벡터를 라고 가정하면, k개의 샘플 이미지 각 샘플에 대응하는 시점 변수 u와 동작변수 v가 주어진다면, u, 와 v를 바탕으로 원통형 좌표계의 좌표 (x,y,z)가 하기의 수학식 6에 의하여 산출될 수 있다.
Each sample image illustrated in FIG. 2 is normalized to It can be expressed as a two-dimensional array. The size of a two-dimensional array represented by column stacking It can be expressed as a one-dimensional vector, which is assumed to be J. The vector corresponding to each sample image Suppose that the viewpoint variable u and the motion variable v corresponding to each sample of k sample images are given, the coordinates (x, y, z) of the cylindrical coordinate system based on u, and v are expressed by Equation 6 below. Can be calculated.
[수학식 6]&Quot; (6) "
원통형 좌표계의 좌표와 이미지 쌍에 대하여, 공지의 기술인 비선형 관계를 Generalized Radial Basis Function(GRBF)이나 또는 이와 유사한 비선형 매핑 함수를 학습하여 실린더형 임베딩 공간과 주어진 이미지 사이의 관계를 배울 수있다. GRBF의 경우에 손모양 샘플의 각 요소에 대하여 수학식 7과 같은 형태의 매핑 함수를 배울 수 있으며, 매핑 함수의 누적에 의하여 수식 8과 같은 메트릭스가 산출될 수 있다.For coordinates and image pairs in a cylindrical coordinate system, the relationship between a cylindrical embedding space and a given image can be learned by learning a known nonlinear relationship, Generalized Radial Basis Function (GRBF) or similar nonlinear mapping function. In the case of GRBF, the mapping function in the form of Equation 7 can be learned for each element of the hand-shaped sample, and the matrix like Equation 8 can be calculated by accumulating the mapping functions.
[수학식 7][Equation 7]
[수학식 8][Equation 8]
이 때, 수식 5 및 6의 e는 원통형 좌표계의 점인 수학식 4의 (x, y, z)를 의미한다. 또한 B는 매핑 매개변수 B로써 φ() 커널공간에서 프로젝션 계수이다. ei는 i번째의 학습데이터에 대한 원통형 좌표계 좌표이며, wi k는 각 학습 데이터와 이에 대한 임베딩 좌표에 대한 쌍에 따른 i번째 학습데이터에 대한 k 번째 픽셀값을 위한 가중치이다.In this case, e in Equations 5 and 6 means (x, y, z) in Equation 4 which is a point of the cylindrical coordinate system. B is also the mapping parameter B, which is the projection coefficient in φ () kernel space. e i is a cylindrical coordinate system coordinate for the i th learning data, w i k is a weight for the k th pixel value for the i th learning data according to each pair of learning data and embedding coordinates thereof.
수학식 7에 따른 행렬 f(e)에 따라 원통형 좌표계상의 임베딩 공간이 설정될 수 있고, 동작 검출 장치의 저장부(130)는 f(e)에 포함되는 각 원통형 좌표계 좌표와 각 좌표에 상응하는 시점 변수 및 동작 변수, 각 시점 변수 및 동작 변수의 조합에 따른 명령어 코드를 저장한다. 따라서, 저장부(130)는 패턴 검출부(140)의 요청에 따라 시점 변수 및 동작 변수에 대한 명령어 코드를 검색하여 제공할 수 있다.
The embedding space on the cylindrical coordinate system may be set according to the matrix f (e) according to Equation 7, and the
도 3은 동작 검출 장치가 사용자의 손가락의 동작을 검출하는 방법을 예시한 순서도이다.3 is a flowchart illustrating a method of detecting a motion of a user's finger by the motion detection device.
도 3을 참조하면, 단계 310에서 동작 검출 장치는 사용자의 손을 촬영하여 이미지를 생성한다. 예를 들어, 동작 검출 장치는 카메라부(110)를 통해 사용자의 손을 촬영하여 하나 이상의 이미지를 생성한다.Referring to FIG. 3, in
단계 320에서 동작 검출 장치는 단계 310에서 생성한 이미지에서 윤곽선을 검출하여 윤곽선 이미지를 생성한다.In
단계 330에서 동작 검출 장치는 윤곽선 이미지에 따른 시점 변수 및 동작 변수를 산출한다. 윤곽선 이미지에서 시점 변수 및 동작 변수를 산출하는 과정은 수학식 2 및 수학식 3을 참조하여 상술하였듯이, 윤곽선 이미지로부터 원통형 좌표계 좌표를 산출하고, 원통형 좌표계 좌표를 시점 변수 및 동작 변수로 변환하는 과정일 수 있다.In
윤곽선 이미지에 대한 시점 변수와 동작 변수를 산출하는 수식은 기본적으로 두개의 대표 손모양에 사이의 연속적인 변화에 대하여 동작변수의 변화를 바탕으로 표현하며, 이러한 대표 손모양이 여러 개인 경우에는 각쌍의 두개의 손모양에 대하여 제안된 방법을 적용함으로 다중 손모양에 대하여 확장 가능하다.The equation for calculating the viewpoint variable and the motion variable for the contour image is basically expressed based on the change of the motion variable for the continuous change between the two representative hand shapes. By applying the proposed method to the two hand shapes, it can be extended to multiple hand shapes.
단계 340에서 동작 검출 장치는 시점 변수 및 동작 변수에 매칭되어 저장부(130)에 저장된 명령어 코드를 검색하여 추출한다. 이 때, 저장부(130)는 미리 시점 변수 및 동작 변수에 상응하는 명령어 코드를 저장할 수 있다. In
단계 350에서 동작 검출 장치는 추출한 명령어 코드를 외부로 출력한다. 예를 들어, 동작 검출 장치가 텔레비전과 연결되고, 동작 검출 장치가 사용자의 손가락의 동작에 따른 명령어 코드를 텔레비전으로 전송하면, 텔레비전은 해당 명령어 코드에 따른 동작을 수행한다. 이 때, 동작 검출 장치는 동작 검출 장치와 연결되는 외부 장치에서 지정된 명령어 코드일 수 있다.
In
이제까지 본 발명에 대하여 그 실시 예를 중심으로 살펴보았다. 전술한 실시 예 외의 많은 실시 예들이 본 발명의 특허청구범위 내에 존재한다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the embodiment for the present invention. Many embodiments other than the above-described embodiments are within the claims of the present invention. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. The disclosed embodiments should, therefore, be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.
Claims (11)
사용자의 손을 촬영하여 촬영 이미지를 생성하는 카메라부;
상기 촬영 이미지에 포함된 상기 손의 윤곽선을 포함하는 윤곽선 이미지를 생성하는 윤곽선 검출부; 및
상기 윤곽선 이미지에 상응하는 상기 동작 변수 및 상기 시점 변수를 산출하고, 산출된 상기 동작 변수 및 상기 시점 변수에 상응하는 명령어 코드를 상기 저장부로부터 추출하는 패턴 검출부
를 포함하는 동작 검출 장치.
A storage unit for storing command codes corresponding to the operation variable and the viewpoint variable;
A camera unit generating a photographed image by photographing a user's hand;
An outline detection unit configured to generate an outline image including an outline of the hand included in the captured image; And
A pattern detector configured to calculate the motion variable and the viewpoint variable corresponding to the contour image, and extract command codes corresponding to the calculated motion variable and the viewpoint variable from the storage unit;
Motion detection device comprising a.
상기 패턴 검출부는 상기 명령어 코드를 외부 장치로 전송하여, 상기 외부 장치가 상기 명령어 코드에 따라 동작하도록 제어하는 것을 특징으로 하는 동작 검출 장치.
The method according to claim 1,
The pattern detecting unit transmits the command code to an external device, and controls the external device to operate according to the command code.
상기 패턴 검출부는 상기 윤곽선 이미지에 상응하는 원통형 좌표계 좌표를 산출하고, 상기 원통형 좌표계 좌표를 상기 동작 변수 및 상기 시점 변수로 변환하는 것을 특징으로 하는 동작 검출 장치.
The method according to claim 1,
And the pattern detecting unit calculates cylindrical coordinate system coordinates corresponding to the contour image, and converts the cylindrical coordinate system coordinates into the motion variable and the viewpoint variable.
상기 카메라부는 파장이 상이한 적외선에 대한 반사광을 감지하여 제1 피부 검출 이미지 및 제2 피부 검출 이미지를 생성하고,
상기 제1 피부 검출 이미지와 상기 제2 피부 검출 이미지 간의 픽셀 값 차이가 미리 지정된 값 이상인 픽셀에 상응하는 좌표를 포함하는 피부 영역 정보를 생성하는 피부 검출부; 및
상기 피부 영역 정보에 상응하는 각 픽셀 중 픽셀 값이 미리 지정된 범위에 해당하는 픽셀에 좌표에 상응하는 좌표를 포함하는 손 영역 정보를 생성하는 거리 검출부를 더 포함하는 동작 검출 장치.
The method according to claim 1,
The camera unit generates a first skin detection image and a second skin detection image by detecting reflected light with respect to infrared rays having different wavelengths,
A skin detection unit generating skin region information including coordinates corresponding to pixels whose difference in pixel values between the first skin detection image and the second skin detection image is equal to or greater than a predetermined value; And
And a distance detector configured to generate hand region information including coordinates corresponding to coordinates in a pixel corresponding to a predetermined range of pixels of each pixel corresponding to the skin region information.
상기 카메라부는
미리 지정된 제1 파장의 적외선을 투사하는 제1 조명모듈; 및
미리 지정된 제2 파장의 적외선을 투사하는 제2 조명모듈를 포함하는 것을 특징으로 하는 동작 검출 장치.
5. The method of claim 4,
The camera unit
A first illumination module projecting infrared rays of a first predetermined wavelength; And
And a second illumination module for projecting infrared rays of a second predetermined wavelength.
상기 윤곽선 검출부는 상기 촬영 이미지에서 상기 손 영역 정보에 상응하는 좌표에 해당하는 픽셀을 추출하고, 추출한 픽셀을 포함하는 상기 윤곽선 이미지를 생성하는 것을 특징으로 하는 동작 검출 장치.
5. The method of claim 4,
And the contour detector extracts a pixel corresponding to a coordinate corresponding to the hand region information from the captured image, and generates the contour image including the extracted pixel.
사용자의 손을 촬영하여 촬영 이미지를 생성하는 단계;
상기 촬영 이미지에 포함된 상기 손의 윤곽선을 포함하는 윤곽선 이미지를 생성하는 단계;
상기 윤곽선 이미지에 상응하는 상기 동작 변수 및 상기 시점 변수를 산출하는 단계;
미리 저장된 명령어 코드 중 상기 동작 변수 및 상기 시점 변수에 상응하는 명령어 코드를 추출하는 단계
를 포함하는 동작 검출 방법.
In the method for detecting the motion of the user's hand in the motion detection device,
Photographing a user's hand to generate a photographed image;
Generating a contour image including an outline of the hand included in the captured image;
Calculating the motion variable and the viewpoint variable corresponding to the contour image;
Extracting an instruction code corresponding to the operation variable and the viewpoint variable among pre-stored instruction codes
Motion detection method comprising a.
상기 명령어 코드를 외부 장치로 전송하여, 상기 외부 장치가 상기 명령어 코드에 따라 동작하도록 제어하는 단계를 더 포함하는 동작 검출 방법.
The method of claim 7, wherein
Transmitting the command code to an external device, and controlling the external device to operate according to the command code.
상기 동작 변수 및 상기 시점 변수를 산출하는 단계는
상기 윤곽선 이미지에 상응하는 원통형 좌표계 좌표를 산출하는 단계; 및
상기 원통형 좌표계 좌표를 상기 동작 변수 및 상기 시점 변수로 변환하는 단계를 포함하는 것을 특징으로 하는 동작 검출 방법.
The method of claim 7, wherein
Computing the operation variable and the viewpoint variable
Calculating cylindrical coordinate system coordinates corresponding to the contour image; And
And converting the cylindrical coordinate system coordinates into the motion variable and the viewpoint variable.
파장이 상이한 적외선에 대한 반사광을 감지하여 제1 피부 검출 이미지 및 제2 피부 검출 이미지를 생성하는 단계;
상기 제1 피부 검출 이미지와 상기 제2 피부 검출 이미지 간의 픽셀 값 차이가 미리 지정된 값 이상인 픽셀에 상응하는 좌표를 포함하는 피부 영역 정보를 생성하는 단계;
상기 피부 영역 정보에 상응하는 각 픽셀 중 픽셀 값이 미리 지정된 범위에 해당하는 픽셀에 좌표에 상응하는 좌표를 포함하는 손 영역 정보를 생성하는 단계를 더 포함하는 동작 검출 방법.
The method of claim 7, wherein
Generating a first skin detection image and a second skin detection image by detecting reflected light with respect to infrared rays having different wavelengths;
Generating skin region information including coordinates corresponding to pixels whose difference in pixel values between the first skin detection image and the second skin detection image is equal to or greater than a predetermined value;
And generating hand region information including coordinates corresponding to coordinates in pixels of which a pixel value corresponds to a predetermined range among pixels corresponding to the skin region information.
상기 윤곽선 이미지를 생성하는 단계는
상기 촬영 이미지에서 상기 손 영역 정보에 상응하는 좌표에 해당하는 픽셀을 추출하는 단계; 및
추출한 상기 픽셀을 포함하는 상기 윤곽선 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 동작 검출 방법.
The method of claim 10,
Generating the contour image
Extracting a pixel corresponding to a coordinate corresponding to the hand region information from the captured image; And
And generating the contour image including the extracted pixels.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110011161A KR101229088B1 (en) | 2011-02-08 | 2011-02-08 | Apparatus and method for measuring 3d depth by an infrared camera using led lighting and tracking hand motion |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110011161A KR101229088B1 (en) | 2011-02-08 | 2011-02-08 | Apparatus and method for measuring 3d depth by an infrared camera using led lighting and tracking hand motion |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20120090630A true KR20120090630A (en) | 2012-08-17 |
KR101229088B1 KR101229088B1 (en) | 2013-02-01 |
Family
ID=46883657
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110011161A KR101229088B1 (en) | 2011-02-08 | 2011-02-08 | Apparatus and method for measuring 3d depth by an infrared camera using led lighting and tracking hand motion |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101229088B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150103520A (en) * | 2014-03-03 | 2015-09-11 | 한국전자통신연구원 | Method and apparatus for recognating hand motion |
US9373026B2 (en) | 2012-12-28 | 2016-06-21 | Hyundai Motor Company | Method and system for recognizing hand gesture using selective illumination |
KR20190098366A (en) * | 2018-02-14 | 2019-08-22 | 전자부품연구원 | Stereo Diparity based IR Light Source Control Method for Stable Hand Gesture Detection |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100457928B1 (en) * | 2002-11-12 | 2004-11-18 | 한국과학기술원 | Hand signal recognition method by subgroup based classification |
KR100858358B1 (en) * | 2006-09-29 | 2008-09-11 | 김철우 | Method and apparatus for user-interface using the hand trace |
KR100827138B1 (en) * | 2006-08-10 | 2008-05-02 | 삼성전자주식회사 | Apparatus for measuring living body information |
-
2011
- 2011-02-08 KR KR1020110011161A patent/KR101229088B1/en not_active IP Right Cessation
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9373026B2 (en) | 2012-12-28 | 2016-06-21 | Hyundai Motor Company | Method and system for recognizing hand gesture using selective illumination |
KR20150103520A (en) * | 2014-03-03 | 2015-09-11 | 한국전자통신연구원 | Method and apparatus for recognating hand motion |
KR20190098366A (en) * | 2018-02-14 | 2019-08-22 | 전자부품연구원 | Stereo Diparity based IR Light Source Control Method for Stable Hand Gesture Detection |
Also Published As
Publication number | Publication date |
---|---|
KR101229088B1 (en) | 2013-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3284011B1 (en) | Two-dimensional infrared depth sensing | |
CN104808795B (en) | The gesture identification method and augmented reality glasses system of a kind of augmented reality glasses | |
US10049460B2 (en) | Identifying an object in a volume based on characteristics of light reflected by the object | |
US11232591B1 (en) | Hand calibration using single depth camera | |
US9041775B2 (en) | Apparatus and system for interfacing with computers and other electronic devices through gestures by using depth sensing and methods of use | |
JP6377863B2 (en) | Enhancement of depth map representation by reflection map representation | |
US20140037135A1 (en) | Context-driven adjustment of camera parameters | |
JP2022514757A (en) | Systems and methods for object sizing based on partial visual information | |
US10936900B2 (en) | Color identification using infrared imaging | |
US20180293739A1 (en) | Systems, methods and, media for determining object motion in three dimensions using speckle images | |
Caputo et al. | 3D Hand Gesture Recognition Based on Sensor Fusion of Commodity Hardware. | |
WO2020044180A2 (en) | Method and system for gaze estimation | |
KR20150127381A (en) | Method for extracting face feature and apparatus for perforimg the method | |
CN105892633A (en) | Gesture identification method and virtual reality display output device | |
CN105491307B (en) | Depth sensing system | |
CN111259755A (en) | Data association method, device, equipment and storage medium | |
KR101229088B1 (en) | Apparatus and method for measuring 3d depth by an infrared camera using led lighting and tracking hand motion | |
KR102041191B1 (en) | Method and apparatus for recognating hand motion | |
Arai et al. | Autonomous control of eye based electric wheel chair with obstacle avoidance and shortest path finding based on Dijkstra algorithm | |
KR102173608B1 (en) | System and method for controlling gesture based light dimming effect using natural user interface | |
JP6311461B2 (en) | Gaze analysis system and gaze analysis apparatus | |
CN115862124A (en) | Sight estimation method and device, readable storage medium and electronic equipment | |
Jian-Nan et al. | Key techniques of eye gaze tracking based on pupil corneal reflection | |
Periverzov et al. | 3D Imaging for hand gesture recognition: Exploring the software-hardware interaction of current technologies | |
Li et al. | Robust depth camera based multi-user eye tracking for autostereoscopic displays |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20151230 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20170123 Year of fee payment: 5 |
|
LAPS | Lapse due to unpaid annual fee |