KR101316316B1 - Apparatus and method for extracting the pupil using streo camera - Google Patents
Apparatus and method for extracting the pupil using streo camera Download PDFInfo
- Publication number
- KR101316316B1 KR101316316B1 KR1020110130034A KR20110130034A KR101316316B1 KR 101316316 B1 KR101316316 B1 KR 101316316B1 KR 1020110130034 A KR1020110130034 A KR 1020110130034A KR 20110130034 A KR20110130034 A KR 20110130034A KR 101316316 B1 KR101316316 B1 KR 101316316B1
- Authority
- KR
- South Korea
- Prior art keywords
- face image
- stereo camera
- image
- extracting
- coordinate matching
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Ophthalmology & Optometry (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
본 발명은 스테레오 카메라를 이용한 눈동자 추출 장치 및 그 방법에 관한 것으로, 일 측에 적외선 조명이 위치한 스테레오 카메라를 통해 제 1 얼굴 영상 및 제 2 얼굴 영상을 획득하고, 상기 획득한 제 1 영상과 제 2 영상을 좌표 매칭시켜 차영상(차분영상)을 연산한 후 노이즈 제거 과정을 거쳐 운전자의 눈동자를 추출함으로써, 적은 연산 과정으로 신속 정확하게 운전자의 눈동자를 추출할 수 있는, 스테레오 카메라를 이용한 눈동자 추출 장치 및 그 방법을 제공하고자 한다.
이를 위하여, 본 발명은 스테레오 카메라를 이용한 눈동자 추출 장치에 있어서, 동일한 운전자를 대상으로, 백색 눈동자를 갖는 제 1 얼굴 영상과 흑색 눈동자를 갖는 제 2 얼굴 영상을 동일 노출 시간으로 각각 촬영하는 스테레오 카메라; 상기 스테레오 카메라에서 촬영된 제 1 얼굴 영상과 제 2 얼굴 영상이 동일한 시차(視差)를 갖도록 좌표 매칭을 수행하는 좌표 매칭수단; 및 상기 좌표 매칭수단에서 동일 시차를 갖도록 매칭된 제 1 얼굴 영상과 제 2 얼굴 영상의 차영상을 연산하여 백색 눈동자를 추출하는 차영상 연산수단을 포함한다.The present invention relates to an apparatus for extracting eyes using a stereo camera and a method thereof, and to obtain a first face image and a second face image through a stereo camera having an infrared light on one side, and to obtain the first and second face images. After extracting the driver's pupils through noise reduction process after calculating the difference image (coordinate difference image) by coordinate matching, the pupil extraction apparatus using a stereo camera that can extract the driver's pupils quickly and accurately in a small calculation process and It is intended to provide a method.
To this end, the present invention provides a device for extracting pupils using a stereo camera, comprising: a stereo camera for capturing a first face image having white eyes and a second face image having black eyes at the same exposure time, targeting the same driver; Coordinate matching means for performing coordinate matching such that the first face image and the second face image photographed by the stereo camera have the same parallax; And difference image calculating means for extracting white eyes by calculating a difference image between the first face image and the second face image matched to have the same parallax in the coordinate matching means.
Description
본 발명은 스테레오 카메라를 이용한 눈동자 추출 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 일 측에 적외선 조명이 위치한 스테레오 카메라를 통해 제 1 영상 및 제 2 영상을 획득하고, 상기 획득한 제 1 영상과 제 2 영상을 이용하여 운전자의 눈동자를 추출하는 장치 및 그 방법에 관한 것이다.
The present invention relates to an apparatus for extracting eyes using a stereo camera and a method thereof, and more particularly, to obtain a first image and a second image through a stereo camera having an infrared light located on one side, and to obtain the first image and the second image. The present invention relates to an apparatus and a method for extracting the pupil of a driver using a second image.
운전자의 시선 방향을 인식하여 운전자의 안전 및 편의를 도모하기 위한 시스템이 일반화될 전망이다.The system for recognizing the driver's gaze direction and promoting the driver's safety and convenience will be generalized.
운전자의 시선 방향을 정확히 인식하기 위해서는 차량 공간에서 운전자 머리의 3차원 위치 및 지향 방향과 운전자 눈동자의 3차원 위치 및 지향 방향과 같은 4가지 요소를 검출할 필요가 있다.In order to accurately recognize the driver's gaze direction, it is necessary to detect four factors such as the three-dimensional position and orientation of the driver's head and the three-dimensional position and orientation of the driver's pupil in the vehicle space.
이러한 4가지 요소를 동시에 검출할 수 있는 장치로는 스테레오 카메라가 있다. 단안 카메라는 머리 및 눈동자의 지향 방향은 검출할 수 있지만 머리 및 눈동자의 3차원 위치를 알 수 없고, ToF(Time of Flight) 카메라는 머리의 3차원 위치 및 방향은 검출 가능하지만 눈동자의 3차원 위치 및 방향을 검출할 수 없다.A device that can detect these four elements simultaneously is a stereo camera. Monocular cameras can detect head and eye orientation, but cannot know the three-dimensional position of the head and pupil.ToF (Time of Flight) cameras can detect the three-dimensional position and orientation of the head, but the pupil's three-dimensional position. And direction cannot be detected.
이에 스테레오 카메라를 이용하여 적은 연산 과정으로 신속 정확하게 운전자의 눈동자를 추출할 수 있는 방안이 요구된다.
Therefore, there is a need for a method that can extract the driver's eyes quickly and accurately with a small calculation process using a stereo camera.
상기와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 일 측에 적외선 조명이 위치한 스테레오 카메라를 통해 제 1 얼굴 영상 및 제 2 얼굴 영상을 획득하고, 상기 획득한 제 1 영상과 제 2 영상을 좌표 매칭시켜 차영상(차분영상)을 연산한 후 노이즈 제거 과정을 거쳐 운전자의 눈동자를 추출함으로써, 적은 연산 과정으로 신속 정확하게 운전자의 눈동자를 추출할 수 있는, 스테레오 카메라를 이용한 눈동자 추출 장치 및 그 방법을 제공하는데 그 목적이 있다.In order to solve the above problems of the prior art, the present invention obtains a first face image and a second face image through a stereo camera having an infrared light on one side, and obtains the obtained first image and the second image. An apparatus and method for extracting pupils using a stereo camera that can extract a driver's pupils quickly and in a small amount of computation by calculating a difference image (coordinate difference image) by coordinate matching and then removing the driver's pupils through a noise removing process The purpose is to provide.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
The objects of the present invention are not limited to the above-mentioned objects, and other objects and advantages of the present invention which are not mentioned can be understood by the following description, and will be more clearly understood by the embodiments of the present invention. It will also be readily apparent that the objects and advantages of the invention may be realized and attained by means of the instrumentalities and combinations particularly pointed out in the appended claims.
상기 목적을 달성하기 위한 본 발명의 장치는, 스테레오 카메라를 이용한 눈동자 추출 장치에 있어서, 동일한 운전자를 대상으로, 백색 눈동자를 갖는 제 1 얼굴 영상과 흑색 눈동자를 갖는 제 2 얼굴 영상을 동일 노출 시간으로 각각 촬영하는 스테레오 카메라; 상기 스테레오 카메라에서 촬영된 제 1 얼굴 영상과 제 2 얼굴 영상이 동일한 시차(視差)를 갖도록 좌표 매칭을 수행하는 좌표 매칭수단; 및 상기 좌표 매칭수단에서 동일 시차를 갖도록 매칭된 제 1 얼굴 영상과 제 2 얼굴 영상의 차영상을 연산하여 백색 눈동자를 추출하는 차영상 연산수단을 포함한다.The apparatus of the present invention for achieving the above object, in the pupil extraction apparatus using a stereo camera, the same face, the first face image having a white eye and the second face image having a black eye with the same exposure time for the same driver; Stereo camera to shoot each; Coordinate matching means for performing coordinate matching such that the first face image and the second face image photographed by the stereo camera have the same parallax; And difference image calculating means for extracting white eyes by calculating a difference image between the first face image and the second face image matched to have the same parallax in the coordinate matching means.
또한 상기 목적을 달성하기 위한 본 발명의 방법은, 스테레오 카메라를 이용한 눈동자 추출 방법에 있어서, 스테레오 카메라가 동일한 운전자를 대상으로, 백색 눈동자를 갖는 제 1 얼굴 영상과 흑색 눈동자를 갖는 제 2 얼굴 영상을 동일 노출 시간으로 각각 촬영하는 단계; 좌표 매칭수단이 상기 제 1 얼굴 영상과 상기 제 2 얼굴 영상이 동일한 시차(視差)를 갖도록 좌표 매칭을 수행하는 단계; 및 차영상 연산수단이 상기 동일 시차를 갖도록 매칭된 제 1 얼굴 영상과 제 2 얼굴 영상의 차영상을 연산하여 백색 눈동자를 추출하는 단계를 포함한다.
In addition, the method of the present invention for achieving the above object, in the pupil extraction method using a stereo camera, the stereo camera targets the same driver, the first face image having a white eye and the second face image having a black eye Photographing each with the same exposure time; Performing coordinate matching by coordinate matching means such that the first face image and the second face image have the same parallax; And extracting white eyes by calculating a difference image between the matched first face image and the second face image to have the same parallax.
상기와 같은 본 발명은, 일 측에 적외선 조명이 위치한 스테레오 카메라를 통해 제 1 얼굴 영상 및 제 2 얼굴 영상을 획득하고, 상기 획득한 제 1 영상과 제 2 영상을 좌표 매칭시켜 차영상(차분영상)을 연산한 후 노이즈 제거 과정을 거쳐 운전자의 눈동자를 추출함으로써, 적은 연산 과정으로 신속 정확하게 운전자의 눈동자를 추출할 수 있는 효과가 있다.As described above, the present invention obtains a first face image and a second face image through a stereo camera having an infrared light located on one side, and coordinates the acquired first image and the second image to obtain a difference image (differential image). ), And after extracting the driver's pupils through the noise removal process, it is possible to extract the driver's pupils quickly and accurately in a small calculation process.
또한, 본 발명은 적은 연산 과정으로 신속 정확하게 운전자의 눈동자를 추출함으로써, 운전자의 시선 검출 성능을 향상시킬 수 있는 효과가 있다.
In addition, the present invention has the effect of improving the driver's eye detection performance by extracting the driver's eyes quickly and accurately in a small calculation process.
도 1 은 본 발명에 따른 스테레오 카메라를 이용한 눈동자 추출 장치의 일실시예 구성도,
도 2 는 본 발명에 따른 스테레오 카메라의 일실시예 구조도,
도 3 은 본 발명에 따른 스테레오 카메라의 다른 실시예 구조도,
도 4 는 본 발명에 따른 스테레오 카메라를 통해 촬영한 운전자의 얼굴 영상 및 이를 통해 추출한 백색 눈동자에 대한 일예시도,
도 5 는 본 발명에 따른 좌표 매칭부의 좌표 매칭 방식에 대한 일실시예 설명도,
도 6 은 본 발명에 따른 스테레오 카메라를 이용한 눈동자 추출 방법에 대한 일실시예 흐름도이다.1 is a configuration diagram of an embodiment of a pupil extraction apparatus using a stereo camera according to the present invention;
2 is a structural diagram of an embodiment of a stereo camera according to the present invention;
3 is a structural diagram of another embodiment of a stereo camera according to the present invention;
4 is an exemplary view showing a face image of a driver photographed through a stereo camera and white eyes extracted through the same according to the present invention;
5 is a diagram for explaining a coordinate matching method of a coordinate matching unit according to the present invention;
6 is a flowchart illustrating a method of extracting pupils using a stereo camera according to the present invention.
상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되어 있는 상세한 설명을 통하여 보다 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, features and advantages of the present invention will become more apparent from the following detailed description of the present invention when taken in conjunction with the accompanying drawings, It can be easily carried out. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1 은 본 발명에 따른 스테레오 카메라를 이용한 눈동자 추출 장치의 일실시예 구성도이다.1 is a block diagram of an embodiment of a pupil extraction apparatus using a stereo camera according to the present invention.
도 1에 도시된 바와 같이, 본 발명에 따른 스테레오 카메라를 이용한 눈동자 추출 장치는, 스테레오 카메라(10), 좌표 매칭부(20), 차영상 연산부(30), 노이즈 제거부(40), 및 눈동자 위치 검출부(50)를 포함한다.As shown in FIG. 1, the apparatus for extracting pupils using the stereo camera according to the present invention includes a
상기 각 구성요소들에 대해 살펴보면, 먼저 스테레오 카메라(10)는 일 측에 위치하는 렌즈와 타 측에 위치하는 렌즈를 통해 운전자의 얼굴 영상을 각각 촬영하는 카메라로서, 동일 시점(동일 노출 시간)에 운전자의 얼굴 영상을 각각 촬영한다. 이때, 일 측 렌즈를 통해 촬영된 얼굴 영상과 타 측 렌즈를 통해 촬영된 얼굴 영상은 서로 다른 위치에서 촬영된 영상으로서 미세한 시차(視差)가 발생한다.Referring to each of the above components, first, the
이러한 스테레오 카메라(10)는 동일한 운전자를 대상으로, 일 측 렌즈(11)를 통해서는 백색 눈동자를 갖는 얼굴 영상이 촬영되도록 하고, 타 측 렌즈(13)를 통해서는 흑색 눈동자를 갖는 얼굴 영상이 촬영되도록, 도 2에 도시된 바와 같이 일 측 렌즈 주변에 적외선 조명(12)을 위치시킨다. 이때, 타 측 렌즈(13)와 적외선 조명(12) 간의 거리(X)가 적외선 조명(12)과 일 측 렌즈(11) 간의 거리(Y)보다 크면 클수록, 일 측 렌즈(11)에는 더 밝은 백색 눈동자를, 타 측 렌즈(13)에는 더 어두운 흑색 눈동자를 갖는 얼굴 영상이 촬영되어, 결과적으로 두 영상을 차분하여 더 밝고 선명한 백색 눈동자 이미지를 얻을 수 있다.The
또한, 적외선 조명(12)은 더 많은 광도를 얻기 위하거나 비용의 절감을 위해 도 3에 도시된 바와 같이 다양한 형태로 구현될 수 있다.In addition, the
특히, 도 3의 (c)에 도시된 바와 같이 타 측 렌즈(13)와 조명 간의 거리를 극대화하여 백색/흑색 눈동자 영상 차분 시 더 선명하고 밝은(백색의) 눈동자를 얻을 수 있다.In particular, as shown in (c) of FIG. 3, a sharper and brighter (white) pupil may be obtained when the white / black pupil image difference is maximized by maximizing the distance between the
좌표 매칭부(20)는 스테레오 카메라(10)에서 촬영된 제 1 얼굴 영상과 제 2 얼굴 영상이 동일한 시차(視差)를 갖도록 좌표 매칭을 수행한다. 즉, 좌표 매칭부(20)는 도 4에 도시된 바와 같이, 백색 눈동자를 가지는 제 1 얼굴 영상(a) 및 흑색 눈동자를 가지는 제 2 얼굴 영상(b) 중 어느 하나를 기준으로 정하고, 타 얼굴 영상을 좌측 또는 우측으로 소정 픽셀(일예로 10px) 이동시켜 좌표를 매칭시킨다.The
차영상 연산부(30)는 좌표 매칭부(20)에서 동일 시차를 갖도록 매칭된 제 1 얼굴 영상과 제 2 얼굴 영상의 차영상을 연산한다. 즉, 차영상 연산부(30)는 픽셀 단위로 제 1 얼굴 영상(a)에서 제 2 얼굴 영상(b)을 빼거나 제 2 얼굴 영상(b)에서 제 1 얼굴 영상(a)을 빼서 백색 눈동자를 추출한다.The
노이즈 제거부(40)는 일반적으로 널리 알려진 이진화 및 모포로지(Morphology) 연산을 통해 백색 눈동자를 제외한 노이즈를 제거한다. 이렇게 노이즈가 제거된 백색 눈동자는 도 4의 (c)에 도시된 바와 같다.The
눈동자 위치 검출부(50)는 일반적으로 널리 알려진 스테레오 이미지 처리를 수행하여 눈동자의 위치를 검출한다. 즉, 눈동자 위치 검출부(50)는 시차(Disparity) 맵을 이용하여 눈동자의 위치를 검출한다.The pupil
이하, 도 5를 참조하여 좌표 매칭부(20)의 다양한 좌표 매칭 방식에 대해 상세히 살펴보기로 한다.Hereinafter, various coordinate matching methods of the
도 5의 (a)는, 스테레오 카메라 연산(rectification, matching 등)을 이용하여, 2개 영상 내에서 카메라 장착 위치 및 차량 내 공간 구조상 통상적인 거리의 물체 위치 변화량을 찾아, 두 영상의 얼굴부분 영상이 겹치도록 이동시켜 매칭시키는 방식이다.FIG. 5A illustrates stereoscopic camera operations (rectification, matching, and the like) to find an amount of change in the position of an object at a distance between a camera mounted within a two image and a normal distance due to the space structure in a vehicle, and the face portion images of the two images. This is a method of matching by moving so as to overlap.
도 5의 (b)는, 1개의 영상 내에서 얼굴(또는 눈 등 얼굴 내 유일(unique)한 특징 부분) 위치를 검출 후, 검출한 얼굴로 다른 영상 내에서 'template matching'을 실시하여 두 영상 간 얼굴 위치 차이를 구하고 그 차이를 반영하여 두 영상 간 차분 연산 수행한다.5 (b) shows the two images by detecting a position of a face (or a unique feature part in the face such as an eye) in one image and then performing 'template matching' in the other image with the detected face. The difference between the positions of the faces is obtained and the difference is calculated based on the differences.
이때, 촬영된 두 영상간 translation(x, y 변위) 차이만을 계산하기 위해(연산량 감소), 일 측 렌즈와 타 측 렌즈를 상대적인 회전이 없도록 수평하게 장착한다. 이때, 두 렌즈의 거리(baseline)가 멀지 않아 동일한 영상이 변위차만 존재하며, 두 렌즈의 정확한 정렬(alignment)이 불가능한 경우 사전에 이미지 교정(image rectification)을 수행할 수도 있다.At this time, in order to calculate only the difference in translation (x, y displacement) between the two images (reduced amount of calculation), one lens and the other lens are mounted horizontally so that there is no relative rotation. In this case, since the baseline of the two lenses is not far, the same image exists only in the displacement difference, and if the correct alignment of the two lenses is impossible, image rectification may be performed in advance.
도 5의 (c)는, 통상적인 운전자 얼굴 위치에 특정 평면을 가정하여 해당 평면을 두 개의 카메라 간 장착 위치(및 회전각도) 차이만큼 뷰(시점) 변환하여 두 영상내 얼굴 위치를 매칭하는 방식이다. 이는 적은 연산량으로 수행 가능하나 얼굴 위치가 위에서 얼굴 위치로 가정한 평면에서 멀어질수록 매칭 오차가 커지는 단점이 있다.FIG. 5C illustrates a method of matching a face position in two images by assuming a specific plane in a typical driver's face position by converting the plane as a difference between a mounting position (and a rotation angle) between two cameras. to be. This can be done with a small amount of computation, but has a disadvantage that the matching error increases as the face position moves away from the plane assumed as the face position from above.
도 6 은 본 발명에 따른 스테레오 카메라를 이용한 눈동자 추출 방법에 대한 일실시예 흐름도이다.6 is a flowchart illustrating a method of extracting pupils using a stereo camera according to the present invention.
먼저, 스테레오 카메라(10)가 동일한 운전자를 대상으로, 백색 눈동자를 갖는 제 1 얼굴 영상과 흑색 눈동자를 갖는 제 2 얼굴 영상을 동일 노출 시간으로 각각 촬영한다(601).First, the
이후, 좌표 매칭부(20)가 상기 제 1 얼굴 영상과 상기 제 2 얼굴 영상이 동일한 시차(視差)를 갖도록 좌표 매칭을 수행한다(602).Thereafter, the
이후, 차영상 연산부(30)가 상기 동일 시차를 갖도록 매칭된 제 1 얼굴 영상과 제 2 얼굴 영상의 차영상을 연산하여 백색 눈동자를 추출한다(603).Thereafter, the difference
부가적으로, 노이즈 제거부(40)가 상기 연산된 차영상에서 노이즈를 제거한다.In addition, the
또한, 눈동자 위치 검출부(50)가 스테레오 이미지 처리를 수행하여 눈동자의 위치를 검출한다.In addition, the
이러한 과정을 통해, 적은 연산 과정으로 신속 정확하게 운전자의 눈동자를 추출할 수 있음은 물론, 운전자의 시선 검출 성능을 향상시킬 수 있다.Through this process, it is possible to extract the driver's eyes quickly and accurately with a small calculation process, and also improve the driver's gaze detection performance.
한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.Meanwhile, the method of the present invention as described above can be written in a computer program. And the code and code segments constituting the program can be easily deduced by a computer programmer in the field. In addition, the written program is stored in a computer-readable recording medium (information storage medium), and read and executed by a computer to implement the method of the present invention. The recording medium may include any type of computer readable recording medium.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention. The present invention is not limited to the drawings.
10 : 스테레오 카메라 20 : 좌표 매칭부
30 : 차영상 연산부 40 : 노이즈 제거부
50 : 눈동자 위치 검출부10: stereo camera 20: coordinate matching unit
30: difference image calculation unit 40: noise removal unit
50: pupil position detection unit
Claims (7)
상기 스테레오 카메라에서 촬영된 제 1 얼굴 영상과 제 2 얼굴 영상이 동일한 시차(視差)를 갖도록 좌표 매칭을 수행하는 좌표 매칭수단; 및
상기 좌표 매칭수단에서 동일 시차를 갖도록 매칭된 제 1 얼굴 영상과 제 2 얼굴 영상의 차영상을 연산하여 백색 눈동자를 추출하는 차영상 연산수단
을 포함하는 스테레오 카메라를 이용한 눈동자 추출 장치.
A stereo camera having infrared illumination around one side of the lens, for capturing a first face image having white pupils and a second face image having black pupils at the same exposure time for the same driver;
Coordinate matching means for performing coordinate matching such that the first face image and the second face image photographed by the stereo camera have the same parallax; And
Difference image calculating means for extracting white eyes by calculating a difference image between the first face image and the second face image matched to have the same parallax in the coordinate matching means
Eye extraction device using a stereo camera comprising a.
차영상 연산수단에서 연산된 차영상에서 노이즈를 제거하는 노이즈 제거수단
을 더 포함하는 스테레오 카메라를 이용한 눈동자 추출 장치.
The method of claim 1,
Noise removing means for removing noise from the difference image calculated by the difference image calculating means
Eye extracting device using a stereo camera further comprising.
스테레오 이미지 처리를 수행하여 눈동자의 위치를 검출하는 눈동자 위치 검출수단
을 더 포함하는 스테레오 카메라를 이용한 눈동자 추출 장치.
The method of claim 1,
Eye position detection means for detecting the position of the pupil by performing stereo image processing
Eye extracting device using a stereo camera further comprising.
좌표 매칭수단이 상기 제 1 얼굴 영상과 상기 제 2 얼굴 영상이 동일한 시차(視差)를 갖도록 좌표 매칭을 수행하는 단계; 및
차영상 연산수단이 상기 동일 시차를 갖도록 매칭된 제 1 얼굴 영상과 제 2 얼굴 영상의 차영상을 연산하여 백색 눈동자를 추출하는 단계
를 포함하는 스테레오 카메라를 이용한 눈동자 추출 방법.
A stereo camera having infrared illumination around one lens, photographing a first face image having white eyes and a second face image having black eyes at the same exposure time, targeting the same driver;
Performing coordinate matching by coordinate matching means such that the first face image and the second face image have the same parallax; And
Extracting white eyes by calculating a difference image between the first face image and the second face image matched to have the same parallax;
Eye extraction method using a stereo camera comprising a.
노이즈 제거수단이 상기 연산된 차영상에서 노이즈를 제거하는 단계
를 더 포함하는 스테레오 카메라를 이용한 눈동자 추출 방법.
The method of claim 5, wherein
Noise removing means for removing noise from the calculated difference image
Eye extraction method using a stereo camera further comprising.
눈동자 위치 검출수단이 스테레오 이미지 처리를 수행하여 눈동자의 위치를 검출하는 단계
를 더 포함하는 스테레오 카메라를 이용한 눈동자 추출 방법.The method of claim 5, wherein
Eye position detecting means for performing stereo image processing to detect eye position
Eye extraction method using a stereo camera further comprising.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110130034A KR101316316B1 (en) | 2011-12-07 | 2011-12-07 | Apparatus and method for extracting the pupil using streo camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110130034A KR101316316B1 (en) | 2011-12-07 | 2011-12-07 | Apparatus and method for extracting the pupil using streo camera |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20130063606A KR20130063606A (en) | 2013-06-17 |
KR101316316B1 true KR101316316B1 (en) | 2013-10-08 |
Family
ID=48860862
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110130034A KR101316316B1 (en) | 2011-12-07 | 2011-12-07 | Apparatus and method for extracting the pupil using streo camera |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101316316B1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003296740A (en) * | 2002-04-08 | 2003-10-17 | Victor Co Of Japan Ltd | Object monitoring method and object monitoring camera device |
JP2003316510A (en) * | 2002-04-23 | 2003-11-07 | Nippon Hoso Kyokai <Nhk> | Display device for displaying point instructed on display screen and display program |
JP2009068935A (en) * | 2007-09-12 | 2009-04-02 | Univ Chuo | Stereo measurement apparatus, stereo measurement method, and stereo measurement processing program |
KR20110071213A (en) * | 2009-12-21 | 2011-06-29 | 한국전자통신연구원 | Apparatus and method for 3d face avatar reconstruction using stereo vision and face detection unit |
-
2011
- 2011-12-07 KR KR1020110130034A patent/KR101316316B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003296740A (en) * | 2002-04-08 | 2003-10-17 | Victor Co Of Japan Ltd | Object monitoring method and object monitoring camera device |
JP2003316510A (en) * | 2002-04-23 | 2003-11-07 | Nippon Hoso Kyokai <Nhk> | Display device for displaying point instructed on display screen and display program |
JP2009068935A (en) * | 2007-09-12 | 2009-04-02 | Univ Chuo | Stereo measurement apparatus, stereo measurement method, and stereo measurement processing program |
KR20110071213A (en) * | 2009-12-21 | 2011-06-29 | 한국전자통신연구원 | Apparatus and method for 3d face avatar reconstruction using stereo vision and face detection unit |
Also Published As
Publication number | Publication date |
---|---|
KR20130063606A (en) | 2013-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10129455B2 (en) | Auto-focus method and apparatus and electronic device | |
US9774837B2 (en) | System for performing distortion correction and calibration using pattern projection, and method using the same | |
CN107907048A (en) | A kind of binocular stereo vision method for three-dimensional measurement based on line-structured light scanning | |
KR101510312B1 (en) | 3D face-modeling device, system and method using Multiple cameras | |
JP6194604B2 (en) | Recognizing device, vehicle, and computer executable program | |
KR101628493B1 (en) | Apparatus and method for tracking gaze of glasses wearer | |
KR101444538B1 (en) | 3d face recognition system and method for face recognition of thterof | |
CN107360354B (en) | Photographing method, photographing device, mobile terminal and computer-readable storage medium | |
JP6855872B2 (en) | Face recognition device | |
JP2018156408A (en) | Image recognizing and capturing apparatus | |
JP6617150B2 (en) | Object detection method and object detection apparatus | |
KR101053253B1 (en) | Apparatus and method for face recognition using 3D information | |
KR102341839B1 (en) | Data collection device for augmented reality | |
CN110800020B (en) | Image information acquisition method, image processing equipment and computer storage medium | |
WO2015182771A1 (en) | Image capturing device, image processing device, image processing method, and computer program | |
KR101316316B1 (en) | Apparatus and method for extracting the pupil using streo camera | |
KR20130038487A (en) | Apparatus for measuring distance of object using single camera and method for the same | |
CN111383255A (en) | Image processing method, image processing device, electronic equipment and computer readable storage medium | |
CN111382607B (en) | Living body detection method, living body detection device and face authentication system | |
KR101142279B1 (en) | An apparatus for aligning images in stereo vision system and the method thereof | |
JP2010197186A (en) | Object detector | |
Pang et al. | Viewing distance measurement using a single camera | |
CN117373103B (en) | Image feature extraction method, device, equipment and storage medium | |
JP6066765B2 (en) | Imaging device, control method thereof, and control program | |
EP2426930A1 (en) | System and method of analyzing a stereo video signal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20180928 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20190926 Year of fee payment: 7 |