KR101788070B1 - Method for nose region detection - Google Patents
Method for nose region detection Download PDFInfo
- Publication number
- KR101788070B1 KR101788070B1 KR1020120146363A KR20120146363A KR101788070B1 KR 101788070 B1 KR101788070 B1 KR 101788070B1 KR 1020120146363 A KR1020120146363 A KR 1020120146363A KR 20120146363 A KR20120146363 A KR 20120146363A KR 101788070 B1 KR101788070 B1 KR 101788070B1
- Authority
- KR
- South Korea
- Prior art keywords
- region
- nose
- detected
- nose region
- face
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 발명은 조명이 균일한 적외선 조명 환경뿐만 아니라 조명 변화가 다양한 가시광선 환경에서도 코 영역을 정확하게 검출하고, 사용자의 다양한 얼굴 포즈변화에 따라 코 영역에 두 개의 콧구멍이 존재하지 않을 경우에도 코 영역을 정확하게 검출할 수 있는 방법을 제공한다. 취득된 얼굴 영상으로부터 얼굴 영역 및 얼굴 영역에서의 얼굴 특징점을 검출하고, 검출된 얼굴 영역 및 얼굴 특징점을 기반으로 코 탐색 영역을 검출한다. 다음으로 두 개 또는 한 개의 콧구멍 형상(Shape) 특성 및 집적 영상(integral imaging) 기법을 통해 코 영역을 검출한다. 그리고 연속영상에서 코 영역을 추적(tracking)하기 위해 현재 프레임 영상에서 검출된 코 영역을 다음 프레임 영상의 코 탐색 영역과 적응 템플릿 대응(adaptive template matching)을 통해 코 영역을 검출한다.The present invention accurately detects a nose region even in a visible light environment in which illumination changes are varied as well as in an infrared illuminating environment in which illumination is uniform, and even when there are no two nostrils in the nose region due to various face pose changes of the user, Can be accurately detected. The facial feature points in the face region and the face region are detected from the acquired facial image, and the nose search region is detected based on the detected face region and facial feature point. Next, the nose region is detected through two or one nose shape characteristics and integral imaging technique. In order to track the nose region in the continuous image, the nose region detected in the current frame image is detected through the nose search region of the next frame image and the adaptive template matching.
Description
본 발명은 영상 인식 기법에 관한 기술로서, 보다 상세하게는 얼굴인식, 나이인식, 표정인식, 성별인식, 2D 얼굴 영상의 3D 영상 변환 연구 및 얼굴 포즈 예측 연구 등에서 눈, 눈썹, 코 및 입과 같은 얼굴 특징점 정보를 인식하는 기술에 관한 것이다.The present invention relates to an image recognition technique, and more particularly to a technique of recognizing an image, such as a face, eyebrow, nose, and mouth in face recognition, age recognition, face recognition, gender recognition, 3D image conversion research of 2D face images, And a technique for recognizing facial feature point information.
코 특징점을 검출하기 위한 종래의 기술로서, 인용문헌 1에서는 CCD 카메라 및 PTZ(Pan-Tilt-Zoom) 카메라를 통해 템플릿 매칭(template matching) 기법을 이용하여 얼굴 영역을 검출하였으며, 얼굴 영상의 눈썹, 눈, 홍채, 코 및 입과 같은 얼굴 요소(facial parts) 영역을 추적(tracking)하는 연구를 진행하였는데, 이때 코 영역에는 콧구멍이 두 개가 존재한다는 특징 및 원 검출을 위한 허프 변환(Hough transform) 방법을 통해 두 개의 콧구멍을 검출하여 코 영역을 결정하였다.As a conventional technique for detecting cochlear points, a face region is detected using a template matching technique through a CCD camera and a PTZ (Pan-Tilt-Zoom) camera, In this study, two nostrils existed in the nose region and a Hough transform for the detection of the circle. In this paper, we propose a method of tracking facial parts such as eyes, iris, nose, Two nostrils were detected through the method to determine the nose area.
하지만 콧구멍 영역을 검출하기 위해 사용된 허프 변환의 경우, 콧구멍 영역을 원 모양으로 모델링하여 검출하였는데, 콧구멍의 모양은 얼굴 포즈 변화 및 사람에 따라 다르기 때문에 원 모양이 아닌 콧구멍의 경우 정확하게 검출하지 못한다는 문제점이 있다. 또한, 코 영역에는 두 개의 콧구멍이 존재한다는 특징을 사용하기 때문에, 사용자의 얼굴 포즈 변화에 의한 가림(occlusion)에 의해 한 개의 콧구멍만이 얼굴영상에서 관측되는 경우, 코 영역을 검출하지 못한다는 문제점이 있다.However, in the case of the Huff transformation used to detect the nostril region, the nostril region was modeled as a circular shape. Since the shape of the nostril varies depending on the face pose change and the person, There is a problem that it can not be detected. In addition, since the nose region has two nostrils, when the nostril region is observed only in the face image due to the occlusion caused by the change in the user's facial pose, the nose region can not be detected There is a problem.
또한, 얼굴 영상에서 코 영역을 검출하는 또 다른 연구로서, 인용문헌 2는 적외선 조명 환경에서 얼굴 영상에서의 두 개의 동공과 두 개의 콧구멍들의 3D 위치관계를 통해 얼굴 포즈를 예측하였는데, 이때 콧구멍을 검출하기 위해 P-타일 기반의 적응적 임계치(Adaptive Threshold) 방법을 통해 이진화 영상을 추출한 후, 형태학적 연산(Morphological Operations)을 통해 콧구멍 영역을 검출하였다. 또한, 만약 두 개의 콧구멍이 모두 검출되면, 칼만 필터(Kalman Filter)를 이용하여 다음 프레임 영상에 콧구멍 위치를 예측하여 사용하였으며, 한 개의 콧구멍만을 검출하였을 경우 캘리브레이션 데이터(CalibrationData)을 통해 콧구멍 위치를 예측하였다.As another study for detecting a nose region in a facial image, Reference 2 estimated the facial pose through the 3D positional relationship between two pupils and two nostrils in a facial image in an infrared illumination environment. In this case, The binarized image was extracted through a P-tile-based Adaptive Threshold method and then the nostril region was detected through morphological operations. In addition, if both nostrils are detected, the nostril position is predicted and used in the next frame image using a Kalman filter. When only one nostril is detected, the nostril is detected through the calibration data (CalibrationData) The hole position was predicted.
하지만, P-타일(P-tile) 기법을 통한 영상을 이진화 할 경우, P-타일은 조명 변화가 다양한 가시광선 환경에서 취득한 영상의 경우 정확한 이진화 결과를 얻을 수 없다는 문제점이 있다. 또한, 검출된 콧구멍 위치를 칼만 필터 및 캘리브레이션 데이터를 통해 다음 프레임 영상의 콧구멍 위치를 예측할 경우, 예측 에러가 발생되어 잘못된 콧구멍 위치를 검출할 수 있는 문제점이 있다. However, when the image is binarized by the P-tile method, there is a problem that accurate binarization results can not be obtained in the case of an image obtained in a visible light environment in which P-tiles have various illumination changes. Further, when the position of the nostril of the next frame image is predicted through the Kalman filter and the calibration data, the prediction error is generated and a wrong nostril position can be detected.
인용문헌 1 "Hierarchical face tracking by using PTZ camera," In Proc. of the Sixth IEEE International Conference on Automatic Face and Gesture Recognition, 2004)Reference 1 "Hierarchical face tracking by using PTZ camera," In Proc. of the Sixth IEEE International Conference on Automatic Face and Gesture Recognition, 2004)
인용문헌 2 "Face Pose Estimation Based on 3D Detection of Pupils and Nostrils." In Proc. of the 2005 IEEE International Conference on Virtual Environments, Human-Computer Interface, and Measurement Systems, 2005)Reference 2 "Face Pose Estimation Based on 3D Detection of Pupils and Nostrils." In Proc. of the 2005 IEEE International Conference on Virtual Environments, Human-Computer Interface, and Measurement Systems, 2005)
본 발명이 해결하고자 하는 과제는 조명이 균일한 적외선 조명 환경뿐만 아니라 조명 변화가 다양한 가시광선 환경에서도 코 영역을 정확하게 검출하고, 사용자의 다양한 얼굴 포즈변화에 따라 코 영역에 두 개의 콧구멍이 존재하지 않을 경우에도 코 영역을 정확하게 검출할 수 있는 방법을 제공하는 것이다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a method and apparatus for accurately detecting a nose region even in a visible light environment having various illumination changes as well as a uniform infrared illumination environment, It is possible to accurately detect the nose region even when the nose region is not detected.
본 발명에 따른 코 영역 검출 방법은 취득된 얼굴 영상으로부터 얼굴 영역 및 얼굴 영역에서의 얼굴 특징점(눈썹, 눈, 눈꼬리, 입 등)들을 검출하고, 검출된 얼굴 영역 및 얼굴 특징점들을 기반으로 코 탐색 영역을 검출한다. 다음으로 두 개의 콧구멍 형상(Shape) 특성 및 집적 영상(integral imaging) 기법을 통해 코 영역을 검출한다. 이 때 코 영역 검출에 실패하면, 한 개의 콧구멍 형상 특성 및 집적 영상 기법을 통해 코 영역을 검출한다. 그리고 연속영상에서 코 영역을 추적(tracking)하기 위해 현재 프레임 영상에서 검출된 코 영역을 다음 프레임 영상의 코 탐색 영역과 적응 템플릿 대응(adaptive template matching)을 통해 코 영역을 검출한다.The method for detecting a nose region according to the present invention detects facial feature points (eyebrows, eyes, eye tails, mouth, and the like) in the face region and the face region from the acquired face image, . Next, the nose region is detected through two nose shape characteristics and integral imaging techniques. If the nose region detection fails at this time, the nose region is detected through one nostril shape characteristic and the integrated imaging technique. In order to track the nose region in the continuous image, the nose region detected in the current frame image is detected through the nose search region of the next frame image and the adaptive template matching.
코 탐색 영역 검출 방법은 검출된 얼굴 영역 및 얼굴 영역에서의 얼굴 특징점들 중 한가지를 사용할 수 있다. 그리고 두 개의 콧구멍 형상 특성 및 집적 영상 기법을 이용한 코 영역을 검출하는 방법은, 양 눈이 모두 검출되는 경우 양 눈 사이의 각도를 이용하여 마스크 형태를 결정하고, 만약 한 눈만 검출되는 경우 다양한 얼굴 회전을 고려한 다양한 형태의 두 개의 콧구멍 형상 특성 마스크를 사용하며, 사람마다의 개인적인 특성 및 카메라와 얼굴이 취득되는 거리에 따른 변화를 고려하기 위하여, 검출된 얼굴 박스 크기 혹은 양 눈 사이의 거리를 바탕으로, 두 개의 콧구멍 형상 특성을 가지는 다양한 크기의 마스크를 사용하며, 집적 영상을 통해 두 개의 콧구멍 형상 특성 마스크들의 소구역(sub-region)들의 화소의 평균 값을 이용하여, 코 영역 위치, 마스크 크기 및 형태를 결정한다.The nose search region detection method can use one of the face feature points in the detected face region and the face region. The method of detecting the nose region using the two nostril shape characteristics and the integrated imaging technique determines the shape of the mask using the angle between the eyes when both eyes are detected, In order to take into consideration the personal characteristics of each person and the change depending on the distance taken by the camera and the face, the size of the detected face box or the distance between both eyes Based on the average value of the pixels of the sub-regions of the two nostril shape masks through the integrated image, the nose region position, Mask size and shape.
한 개의 콧구멍 형상 특성 및 집적 영상 기법을 이용하여 코 영역을 검출하는 방법은, 양 눈이 모두 검출되는 경우 양 눈 사이의 각도를 이용하여 마스크 형태를 결정하고, 만약 한 눈만 검출되는 경우 다양한 얼굴 회전을 고려한 다양한 형태의 한 개의 콧구멍 형상 특성 마스크를 사용하며, 사람마다의 개인적인 특성 및 카메라와 얼굴이 취득되는 거리에 따른 변화를 고려하기 위하여, 검출된 얼굴 박스 크기 혹은 양 눈 사이의 거리를 바탕으로, 한 개의 콧구멍 형상 특성을 가지는 다양한 크기의 마스크를 사용하며, 집적 영상을 통해 한 개의 콧구멍 형상 특성 마스크들의 소구역들의 화소의 평균 값을 이용하여, 코 영역 위치, 마스크 크기 및 형태를 결정한다.A method of detecting a nose region using one nostril shape characteristic and an integrated imaging technique is characterized in that when both eyes are detected, a mask shape is determined using an angle between both eyes, and if a single eye is detected, In order to take into consideration the personal characteristics of each person and the change depending on the distance taken by the camera and the face, the size of the detected face box or the distance between both eyes is used Based on the average value of the pixels of the small regions of one nostril shape characteristic mask through the integrated image, the nose region position, the mask size, and the shape .
본 발명에 따른 코 영역 검출 방법을 통해 조명 환경뿐만 아니라 다양한 조명의 가시광선 환경에서도 코 영역을 정확하게 검출하고, 사용자의 다양한 얼굴 포즈변화에 따라 코 영역에 두 개의 콧구멍이 존재하지 않을 경우에도 코 영역을 정보를 검출 할 수 있다. 따라서, 코 영역 특징 정보를 중요하게 사용되는 얼굴인식, 나이인식, 표정인식, 성별인식의 정확성을 높일 수 있으며, 2D 얼굴 영상을 3D 얼굴 영상 변환 및 얼굴 포즈 예측을 더욱 정확하게 수행할 수 있다.The nose region can be accurately detected not only in the illumination environment but also in the visible light environment of various illuminations through the nose region detection method according to the present invention, Area can be detected. Therefore, accuracy of facial recognition, age recognition, facial expression recognition, and gender recognition, which are important to the nose region feature information, can be improved, and 3D face image conversion and facial pose prediction can be more accurately performed on a 2D facial image.
도 1은 본 발명에 따른 코 영역 검출 방법을 나타내는 흐름도이다.
도 2a는 본 발명에 따른 코 영역 검출 방법에 따른 0° 회전된 얼굴 형상(210)에 따른 코 영역의 형상 특성(211)을 나타내고, 도 2b는 본 발명에 따른 45°회전된 얼굴 형상(220)에 따른 코 영역의 형상 특성(221)을 나타내는 도면이다.
도 2c는 본 발명에 따른 -45° 회전된 얼굴 형상(230)에 따른 코 영역의 형상 특성(231)을 나타내고, 도 2d는 본 발명에 따른 -90° 회전된 얼굴 형상(240)에 따른 코 영역의 형상 특성(241)을 나타내는 도면이다.
도 3은 본 발명에 따른 코 영역 검출 방법의 집적 영상의 일 실시예를 나타내는 구성도이다.
도 4는 본 발명에 따른 코 영역 검출 방법에서 한 개의 콧구멍만이 취득된 영상의 코 영역의 형상 특성을 나타내는 도면이다.
도 5는 본 발명에 따른 코 영역 검출 방법을 통해 검출된 코 영역의 실시예를 나타내는 도면이다.1 is a flowchart showing a method of detecting a nose region according to the present invention.
2A shows the
2C shows the
3 is a configuration diagram showing an embodiment of an integrated image of the nose region detection method according to the present invention.
4 is a view showing a shape characteristic of a nose region of an image obtained by capturing only one nostril in the nose region detecting method according to the present invention.
5 is a view showing an embodiment of a nose region detected by the nose region detection method according to the present invention.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세하게 설명한다. 본 명세서에서 사용되는 용어는 실시예에서의 기능 및 효과를 고려하여 선택된 용어들로서, 그 용어의 의미는 사용자 또는 운용자의 의도 또는 업계의 관례 등에 따라 달라질 수 있다. 따라서 후술하는 실시예들에서 사용된 용어의 의미는, 본 명세서에 구체적으로 명시된 경우에는 명시된 정의에 따르며, 구체적으로 명시하지 않는 경우, 당업자들이 일반적으로 인식하는 의미로 해석되어야 할 것이다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The terms used in the present specification are terms selected in consideration of the functions and effects in the embodiments, and the meaning of the terms may vary depending on the intention of the user or the operator or industry custom. Therefore, the meaning of the term used in the following embodiments is based on the defined definition when specifically stated in this specification, and unless otherwise stated, it should be interpreted in a sense generally recognized by those skilled in the art.
도 1은 본 발명에 따른 코 영역 검출 방법을 나타내는 흐름도이다.1 is a flowchart showing a method of detecting a nose region according to the present invention.
도 1을 참조하면, 본 발명에 따른 코 영역 검출 방법은1, a method for detecting a nose region according to the present invention comprises:
먼저 코 영역을 검출하기 위한 영상을 수신한다(101). 그리고 취득된 얼굴 영상으로부터 얼굴 영역 및 얼굴 특징점을 검출한다(102). 수신된 영상에 포함된 얼굴 영역 및 얼굴 특징점을 검출한다. 이때, 얼굴 영역 및 얼굴 특징점 검출은 아다부스트(Adaboost), 조인트부스트(Jointboost), 템플릿 대응(Template Matching), SURF(Speeded Up Robust Feature), SIFT(Scale Invariant Feature Transform) 또는 피부색(Skin Color)와 역전파 신경망(Back-Propagation Neural Network) 등과 같은 방법을 통해, 얼굴 영역 및 얼굴 영역에서 얼굴 특징점(눈썹, 눈, 눈꼬리, 입 등)을 검출할 수 있다. 얼굴 영역 및 얼굴 특징점을 검출하기 위한 방법은 상술한 방법으로 한정되는 것은 아니며, 얼굴 영역 및 얼굴 특징점을 검출할 수 있는 다양한 방법을 모두 포함한다.First, an image for detecting a nose region is received (101). Then, the face region and the facial feature point are detected from the acquired facial image (102). The face region and the facial feature point included in the received image are detected. At this time, the detection of the face region and the facial feature point may be performed by using a method such as Adaboost, Joint Boost, Template Matching, SURF (Speed Up Robust Feature), Scale Invariant Feature Transform (SIFT) Facial feature points (eyebrows, eyes, eye tails, mouth, etc.) can be detected in the face region and the face region by a method such as Back-Propagation Neural Network. The method for detecting face regions and facial feature points is not limited to the method described above, and includes various methods for detecting face regions and facial feature points.
다음으로 검출된 얼굴 영역 및 얼굴 특징점에 기초하여 코 탐색 영역을 설정한다(103). 코 탐색 영역은 수신된 영상의 프레임에서 코 영역 검출의 효율을 높이기 위해 설정하는 영역으로서, 검출된 얼굴 영역만을 코 탐색 영역으로 설정하거나, 검출된 얼굴 특징점 위치를 기반으로 코 탐색 영역을 설정할 수 있다. 코 영역 검출은 설정된 코 탐색 영역에서 이루어 지게 된다. 코 탐색 영역 설정은 상술한 일례로 한정되는 것은 아니며, 부분 또는 영상 전체를 설정하는 등 다양한 방법을 통해 수행 가능하다.Next, a nose search area is set based on the detected face area and the facial feature point (103). The nose search area is set to increase the efficiency of the nose detection in the frame of the received image. It is possible to set only the detected face area as the nose search area or to set the nose search area based on the detected position of the face feature point . The nose region detection is performed in the set nose search region. The nose search area setting is not limited to the above-described example, and can be performed through various methods such as setting a part or an entire image.
다음으로 이전 프레임에서의 코 영역 템플릿 존재 유무를 판단한다(104). 코 영역 검출 방법은 단일 프레임 영상뿐만 아니라 연속 프레임 영상에서도 코 영역을 검출할 수 있다. 이에 따라 이전 프레임에서의 코 영역 템플릿 존재 유무를 확인한다.Next, it is determined whether a nose region template exists in a previous frame (104). The nose region detection method can detect a nose region in not only a single frame image but also a continuous frame image. Thus, the presence or absence of the nose region template in the previous frame is confirmed.
만약 코 영역 템플릿이 존재한다면, 현재 프레임 영상의 코 탐색 영역과 이전 프레임에서 추출되어 저장된 코 영역 템플릿을 이용하여 적응 템플릿 대응(Adaptive Template Matching)을 수행하게 된다(105). 만약 이전 프레임 영상을 통해 코 영역 템플릿이 존재 한다면, 현재 프레임 영상의 코 탐색 영역과 이전 프레임에서 추출되어 저장된 코 영역 템플릿을 이용하여 적응 템플릿 대응을 수행하고, 적응 템플릿 대응을 통해 최대의 매칭 값(Ms) 및 최대 매칭 값에 따른 위치를 검출한다.If there is a nose region template, Adaptive Template Matching is performed using the nose search region of the current frame image and the nose region template extracted and stored in the previous frame (105). If there is a nose region template through the previous frame image, adaptation template correspondence is performed using the nose search region of the current frame image and the nose region template extracted and stored in the previous frame, and the maximum matching value M s ) and a position corresponding to the maximum matching value.
그리고 매칭 값(Ms)와 사전에 정한 임계 값을 통해 적응 템플릿 대응의 성공 여부를 결정한다(106). 만약 매칭 값이 임계값(Threshold)보다 크면 검출된 적응 템플릿 대응에서 결정된 최대 매칭 값에 따른 위치를 최종의 코 영역으로 결정하며, 다음 프레임 영상에서 코 영역을 검출하기 위해 코 영역 템플릿을 저장한다(111).The success or failure of the adaptation template is determined 106 through the matching value M s and a predetermined threshold value. If the matching value is larger than the threshold value, a position corresponding to the maximum matching value determined in correspondence with the detected adaptive template is determined as a final nose region, and a nose region template is stored to detect a nose region in the next frame image 111).
만약 대응 값이 임계값(Threshold)보다 작으면 두 개의 콧구멍 형상(Shape) 특성 및 집적 영상(Integral Imaging) 기법을 통해 코 영역을 검출한다(107). 다음으로 코 영역 검출 유무를 판단한다(108). 두 개의 콧구멍 형상 특성 및 집적 영상 기법을 통해 코 영역 검출 유무를 판단하고, 만약 코 영역 검출이 되었다면, 검출된 코 영역을 최종 코 영역으로 결정하며, 다음 프레임에서 코 영역을 검출하기 위해 코 영역 템플릿을 저장하고 코 영역 검출 과정을 완료한다(111).If the corresponding value is less than the threshold value, the nose region is detected through two nose shape characteristics and an integral imaging technique (107). Next, it is determined whether or not the nose region is detected (108). If the nose region is detected, the detected nose region is determined as the final nose region, and in order to detect the nose region in the next frame, The template is stored and the nose region detection process is completed (111).
만약 두 개의 콧구멍 형상 특성 및 집적 영상 기법을 통해 코 영역 검출에 실패한 경우, 한 개의 콧구멍 형상 특성 및 집적 영상 기법을 통해 코 영역을 검출한다(109). 다음으로 코 영역 검출 유무를 판단한다(110). 한 개의 콧구멍 형상 특성 및 집적 영상 기법을 통해 코 영역 검출 유무를 판단하고, 만약 코 영역 검출이 되었다면, 검출된 코 영역을 최종 코 영역으로 결정하며, 다음 프레임에서 코 영역을 검출하기 위해 코 영역 템플릿을 저장하고 코 영역 검출 과정을 완료한다(111). 연속 영상에서 코 영역을 추적(Tracking)하기 위해 현재 프레임 영상에서 검출된 코 영역을 다음 프레임 영상의 코 탐색 영역과 적응 템플릿 대응(Adaptive Template Matching)을 통해 코 영역을 검출한다.If the nose region detection fails through the two nostril shape characteristics and the integrated imaging technique, the nose region is detected through one nostril shape characteristic and an integrated imaging technique (109). Next, whether the nose region is detected or not is determined (110). If the nose region is detected, it is determined that the detected nose region is the final nose region, and in order to detect the nose region in the next frame, The template is stored and the nose region detection process is completed (111). In order to track the nose region in the continuous image, the nose region detected in the current frame image is detected through the nose search region of the next frame image and the adaptive template matching (adaptive template matching).
만약 두 개의 콧구멍 및 한 개의 콧구멍 형상 특성 및 집적 영상 기법을 통해 코 영역 검출에 실패하면, 코 영역 템플릿을 저장하지 못하며, 다시 영상을 수신(101)받는다.If the nose region detection fails through the two nostrils and one nostril shape characteristic and the integrated imaging technique, the nose region template can not be stored and the image is received again (101).
도 2a는 본 발명에 따른 코 영역 검출 방법에 따른 0° 회전된 얼굴 형상(210)에 따른 코 영역의 형상 특성(211)을 나타내고, 도 2b는 본 발명에 따른 45° 회전된 얼굴 형상(220)에 따른 코 영역의 형상 특성(221)을 나타내고, 도 2c는 본 발명에 따른 -45° 회전된 얼굴 형상(230)에 따른 코 영역의 형상 특성(231)을 나타내고, 도 2d는 본 발명에 따른 -90° 회전된 얼굴 형상(240)에 따른 코 영역의 형상 특성(241)을 나타내는 도면이다.2A shows the
일반적으로, 얼굴의 회전에는 롤(roll), 요(yaw) 및 피치(pitch)의 회전이 존재하는데, 사람의 얼굴의 경우 얼굴이 어깨의 오른쪽 혹은 왼쪽으로 기울어지는 회전을 롤 회전이라고 하며, 요 회전은 얼굴을 정면으로 응시한 기준으로 좌측 혹은 우측으로 움직일 때 발생하는 회전을 뜻하며, 피치의 경우 어깨를 기준으로 얼굴이 위 혹은 아래로 움직일 때 발생하는 회전이다.Generally, there are rolls, yaws and pitch rotations in the face rotation. In the case of a human face, the rotation in which the face tilts to the right or left of the shoulder is called roll rotation. Rotation refers to the rotation that occurs when the face is moved to the left or right with reference to the front, and the pitch is the rotation that occurs when the face moves up or down with respect to the shoulder.
도 2a를 참조하면, 0°회전한 얼굴 영상(210)의 경우 코 영역은 211과 같이 나타난다. 코 영역의 콧구멍은 이웃하는 영역보다 영상의 화소 값이 낮다는 특징, 코 영역에는 두 개의 콧구멍이 존재한다는 특징 및 롤 회전각이 0°이기 때문에 두 개의 콧구멍이 수평 선상에 위치한다는 특징들이 있다. Referring to FIG. 2A, in the case of the rotated 0 ° rotated
도 2b를 참조하면, 45° 회전된 얼굴 영상(220)의 경우 두 개의 콧구멍이 존재하며, 이웃하는 영역의 화소 값보다 낮고 두 개의 콧구멍들은 45°° 회전각을 이루는 마스크 형태(221)를 가진다. Referring to FIG. 2B, in the case of the
도 2c를 참조하면, -45° 회전된 얼굴 영상(230)의 경우 두 개의 콧구멍이 존재하며, 이웃하는 영역의 화소 값보다 낮고 두 개의 콧구멍들은 -45°의 회전각을 이루는 마스크 형태(231)를 가진다. Referring to FIG. 2C, in the case of the
도 2d를 참조하면, -90° 회전된 얼굴 영상(240)의 경우 두 개의 콧구멍이 존재하며, 이웃하는 영역의 화소 값보다 낮고 두 개의 콧구멍들은 -90°의 회전각을 이루는 마스크 형태(241)를 가진다.Referring to FIG. 2D, in the case of the
상술한 회전된 얼굴 형상의 실시예들은 구체적인 설명을 위해 롤 회전각 0°, 45°, -45° 및 -90°의 4가지 경우에 따른 얼굴 회전각으로 구분하였으나, 상기의 4가지의 회전각의 범위만으로 한정하는 것은 아니며, 다양한 회전각에 따라 다양한 코 영역 마스크 형태를 가질 수 있으며, 만약 도 1의 102 단계에서 양 눈이 모두 검출되는 경우 양 눈 사이의 각도를 이용하여 마스크 형태를 결정하고, 만약 한 눈만 검출되는 경우 다양한 얼굴 회전을 고려한 다양한 형태의 두 개의 콧구멍 형상 특성 마스크를 사용한다. 이때 이웃영역 보다 화소 값이 낮은 두 개의 콧구멍을 가지며, 회전각에 따른 두 개의 콧구멍의 회전 정도가 반영된 형태의 코 영역 마스크에 대해서는 특별히 한정하는 것은 아니다. 또한 롤에 의해 회전된 얼굴 영상만을 한정하는 것은 아니며, 각각의 요 및 피치의 회전에 의해 발생되는 얼굴 영상 및 롤, 요 및 피치의 회전이 복합적으로 발생된 얼굴 영상의 경우도 포함된다.The embodiments of the above-described rotated face shapes are divided into four rotation angles according to four roll rotation angles of 0 °, 45 °, -45 °, and -90 ° for specific explanation. However, The present invention is not limited to only the range of the rotation angle. The mask shape may be various according to various rotation angles. If both eyes are detected in
또한 도 2a, 2b, 2c 및 2d의 경우, 취득된 영상에서의 얼굴 크기에 따라 가변적으로 변하게 된다. 본 발명에서는 도 1의102 단계에서 검출된 얼굴 박스 영역의 수평 혹은 수직 크기, 또는 검출된 양 눈 사이의 거리를 바탕으로 코 영역 형상 특성의 크기를 적응적으로 변화하여 적용하게 된다.In the case of FIGS. 2A, 2B, 2C, and 2D, it varies variably depending on the face size in the acquired image. In the present invention, the size of the nose area shape characteristic is adaptively changed based on the horizontal or vertical size of the face box area detected in
도 3은 본 발명에 따른 코 영역 검출 방법의 집적 영상의 일 실시예를 나타내는 구성도이다.3 is a configuration diagram showing an embodiment of an integrated image of the nose region detection method according to the present invention.
도 3을 참조하면, 정사각형 또는 사각형의 형태의 관심 영역에 있어서, 관심 영역의 크기와는 상관 없이 동일한 시간에 관심 영역의 평균 값을 계산하는 집적 영상 기법의 실시예이다. 입력된 영상을 가로축 기준으로 한 개의 화소씩 이동하면서 화소 값을 더하여 저장하는데, 현재의 화소 값에 이전 화소에 누적된 화소 값을 더해 현재 화소 위치에 저장한다. 이렇게 가로축 기준으로 누적된 화소들을 다시 세로축 기준으로 화소들의 누적의 합을 저장함으로써 집적 영상을 생성한다. 상기에 의해 생성된 집적 영상을 통해 308 영역의 화소 평균값은 점 304와 점 301 화소 위치들의 화소 값 합과 점 302와 점 303 화소 위치들의 화소 값의 합의 차, 즉 점304+점301-(점302+점303)으로써 구할 수 있다.Referring to FIG. 3, an embodiment of an integrated image technique for calculating an average value of a ROI at a same time regardless of a size of a ROI in a ROI in the form of a square or a rectangle. The input image is shifted by one pixel on the horizontal axis, and the pixel values are added and stored. The pixel value accumulated in the previous pixel is added to the current pixel value and stored in the current pixel position. The integrated image is generated by storing the sum of the accumulation of the pixels on the vertical axis basis again on the pixels accumulated on the horizontal axis basis. The pixel average value of the
도 1, 도 2 및 도 3을 참조하면, 도 1의 104 단계 또는 106 단계에 의해 의해 107 단계 107로 이동하게 되는데, 107 단계는 도 2의 두 개의 콧구멍 형상 특성 마스크들 및 도 3의 집적 영상 방법을 통해 코 영역을 검출한다. 107 단계를 통한 코 영역 검출에서는, 얼굴 영상 취득 시에 사용자의 얼굴 포즈가 발생하여 얼굴의 롤, 요 및 피치와 같은 회전이 발생하더라도, 취득된 얼굴 영상에 두 개의 콧구멍이 존재할 수 있다. 따라서 두 개의 콧구멍이 존재하며, 회전각의 따라 두 개의 콧구멍의 회전 정도가 반영된 도 2의 다양한 마스크 형태들 이용하는데, 이때 사람마다의 개인적인 특성 및 카메라와 얼굴이 취득되는 거리에 따라 취득된 얼굴 영상의 콧구멍 사이즈가 다르기 때문에, 전술한 바와 같이 검출된 얼굴 박스 크기 혹은 양 눈 사이의 거리 등을 기반으로, 회전 정도가 반영된 도 2의 마스크 형태의 사이즈를 다양하게 하여 코 영역을 검출한다. Referring to FIGS. 1, 2 and 3, the process proceeds to step 107 by
도 1의 107 단계에서 다양한 사이즈 및 회전 각이 반영된 마스크를 기반으로 103 단계의 코 탐색 영역을 탐색하여 최적의 사이즈 및 회전 각이 반영된 코 영역을 검출하게 되는데, 이때 사용되는 각각의 마스크를 대상으로 집적 영상을 통해 해당하는 마스크의 소구역(Sub-region)의 따른 화소의 평균 값을 얻게 된다. 각각의 코 영역 특징 마스크를 통해 두 개의 콧구멍의 영역이 이웃하는 모든 영역보다 화소의 평균 값이 낮으면 코 영역 특징 마스크 후보로 선정되고, 이때의 두 개의 콧구멍의 영역과 각각의 이웃하는 영역들에 화소의 평균 값에 대한 차의 값을 구한 후, 이들의 차를 모두 합하여 해당 코 영역 특징 마스크의 매칭 값으로 사용한다. 이렇게 각각의 코 탐색 영역의 위치에서 다양한 마스크의 크기 및 형태에서 측정된 매칭 값을 비교하여, 매칭 값이 가장 큰 것에 해당하는 코 탐색 영역 위치, 마스크 크기 및 형태를 통해 코 영역으로 결정하게 된다.In
본 발명은 최적의 코 영역을 결정하기 위해 코 영역 특징 마스크에서 두 개의 콧구멍 영역이 이웃하는 모든 영역보다 화소의 평균 값이 낮을 때 코 영역 특징 마스크 후보로 선정하였으며, 또한 코 영역 특징 마스크의 매칭 값을 두 개의 콧구멍 영역과 각각의 이웃하는 영역들의 화소의 평균 값에 대한 차의 값들의 합으로 결정하였다. 하지만 이는 하나의 실시예로서 본 발명을 구체적으로 설명하기 위한 것일 뿐, 상술한 내용으로 한정하는 것은 아니다. 도 2에서 도시한 코 영역 마스크 이외의 다양한 회전각에 따라 다양한 코 영역 마스크 형태를 이용할 수 있다. 또한 다양한 얼굴 포즈 및 개인적인 코 특성에 따라 취득된 두 개의 콧구멍 영역의 크기가 서로 다를 수 있기 때문에, 사용할 코 영역 마스크의 형태에서 두 개의 콧구멍 크기가 동일한 사이즈로 한정하는 것이 아니다.In the present invention, in order to determine an optimal nose region, the nose region feature mask is selected as the nose region feature mask candidates when the average value of the pixels is lower than all neighboring regions in the nose region feature mask, Value was determined as the sum of the difference values of the average values of the pixels of the two nostril areas and the respective neighboring areas. However, it should be understood that the present invention is not limited to the above-described embodiments, Various types of nose area masks can be used in accordance with various rotation angles other than the nose area mask shown in Fig. Also, since the sizes of the two nostril regions acquired according to various facial pose and personal nose characteristics may be different, the two nostril sizes in the form of the nose region mask to be used are not limited to the same size.
도 1의 107단계가 완료되면, 코 영역 검출 유무를 판단하는 108 단계로 이동하게 된다. 107 단계에서 두 개의 콧구멍 형상 마스크 및 집적 영상을 통해 코 영역을 검출 할 수도 있지만, 사용자의 얼굴 포즈로 인해 취득된 얼굴에서 한 개의 콧구멍 혹은 콧구멍이 존재하지 않는 코 영역이 취득되어 코 영역을 검출하지 못할 수도 있다. 따라서 108 단계에서 두 개의 콧구멍 형상 마스크 및 집적 영상을 통해 코 영역 검출이 성공으로 판단된다면, 도 1의 111 단계로 이동하여 107 단계에서 검출된 코 영역을 최종의 코 영역으로 결정하며, 다음 프레임 영상에서 코 영역을 검출하기 위해 코 영역 템플릿으로 저장한다. 만약 108 단계에서 코 영역 검출이 실패로 판단되면, 109 단계로 이동하게 된다. 109 단계에서는 사용자의 얼굴 포즈로 인해 취득된 얼굴에서 한 개의 콧구멍이 존재하는 얼굴 영상의 경우는 한 개의 콧구멍 형상 특성 및 집적 영상 기법을 통해 코 영역을 검출 할 수 있다. When the
도 4는 본 발명에 따른 코 영역 검출 방법에서 한 개의 콧구멍만이 취득된 영상의 코 영역의 형상 특성을 나타내는 도면이다.4 is a view showing a shape characteristic of a nose region of an image obtained by capturing only one nostril in the nose region detecting method according to the present invention.
도 4를 참조하면, 얼굴 포즈나 방향에 의해 한 개의 콧구멍만이 취득된 얼굴 영상(410)에 따른 코 영역의 형상 특성(411)은 한 개의 콧구멍에 대한 형상 특성이 나타난다.Referring to FIG. 4, the
도 1 및 도 4를 참조하면, 도 1의 108 단계에 의해 109 단계로 이동할 때, 109 단계는 도 3의 집적 영상 방법 및 도 4의 한 개의 콧구멍 형상 특성 마스크를 통해 코 영역을 검출할 수 있다. 109 단계는 107 단계와 동일하게 사람마다의 개인적인 특성 및 카메라와 얼굴이 취득되는 거리에 따라 취득된 얼굴 영상의 콧구멍 사이즈가 다르기 때문에, 도 4와 같은 형태를 갖는 한 개의 콧구멍 형상 특성 마스크의 사이즈를, 도 1의 102 단계에서 검출된 얼굴 박스 사이즈 혹은 양 눈 사이의 거리를 기반으로, 다양하게 적용하여 코 영역을 검출한다. Referring to FIGS. 1 and 4, when moving to step 109 by
도 4와 같은 다양한 사이즈의 코 영역 특징 마스크를 기반으로 도 1의 103 단계의 코 탐색 영역을 탐색하여 최적의 코 영역 사이즈 반영된 코 영역을 검출하게 되는데, 이때 사용되는 코 영역 특징 마스크를 대상으로 집적 영상을 통해 해당하는 마스크의 소구역에 따른 화소의 평균 값을 얻게 된다. 다양한 크기의 코 특징 마스크를 통해 한 개의 콧구멍의 영역이 이웃하는 모든 영역보다 화소의 평균 값이 낮으면 코 영역 특징 마스크의 사이즈 후보로 선정하고, 이때의 한 개의 콧구멍 영역과 각각의 이웃하는 영역들에 화소의 평균 값에 대한 차의 값을 구한 후, 이들의 차를 모두 합하여 해당 코 영역 특징 마스크의 매칭 값으로 사용한다. 이렇게 각각의 코 탐색 영역의 위치에서 코 영역 특징 마스크의 다양한 크기에서 따라 측정된 매칭 값을 비교하여, 매칭 값이 가장 큰 것에 해당하는 코 탐색 영역 위치 및 코 영역 특징 마스크 크기를 통해 코 영역으로 결정하게 된다. The nose region feature mask of various sizes as shown in FIG. 4 is searched for the nose search region of
최적의 코 탐색 영역 위치 및 코 영역 특징 마스크 크기를 결정하기 위해 코 영역 특징 마스크에서 한 개의 콧구멍 영역이 이웃하는 모든 영역보다 화소의 평균 값이 낮을 때 코 영역 특징 마스크의 사이즈 후보로 선정하였는데, 이는 구체적인 설명을 위한 실시예일뿐, 특별히 마스크에서 한 개의 콧구멍 영역이 이웃하는 모든 영역보다 화소의 평균 값이 낮을 경우로 범위를 한정하는 것은 아니다. In order to determine the optimal nose search region position and nose region feature mask size, one nostril region in the nose region feature mask was selected as the size candidate of the nose region feature mask when the average value of pixels is lower than all neighboring regions. This is only an example for a specific explanation, and the scope is not limited to a case in which one nostril region in the mask has a lower average value of pixels than all neighboring regions.
도 1의 109단계가 완료되면, 코 영역 검출 유무를 판단하는 110 단계를 수행한다. 109 단계에서 한 개의 콧구멍 형상 마스크 및 집적 영상을 통해 코 영역을 검출 할 수도 있지만, 사용자의 얼굴 포즈로 인해 콧구멍이 존재하지 않는 코 영역이 취득되어 코 영역을 검출하지 못할 수도 있다. 따라서 110 단계에서 한 개의 콧구멍 형상 마스크 및 집적 영상을 통해 코 영역 검출이 성공으로 판단된다면, 도 1의 111 단계로 이동하여 109 단계에서 검출된 코 영역을 최종의 코 영역으로 결정하며, 다음 프레임 영상에서 코 영역을 검출하기 위해 코 영역 템플릿으로 저장한다. 만약 110 단계에서 코 영역 검출이 실패로 판단되면, 101 단계로 이동하게 되는데, 다음 프레임의 얼굴 영상을 대상으로 코 영역에 대한 검출을 시도하게 된다. 110 단계에서 코 영역 실패로 인해 101 단계로 이동했을 경우, 코 영역 템플릿이 존재하지 않기 때문에, 104 단계에서 107 단계로 이동하게 되어 105 단계 및 106 단계를 수행하지 못한다. 111 단계를 통해 101 단계로 이동하는 경우, 코 영역 템플릿이 존재하기 때문에 104 단계에서 105 단계로 이동하여 적응 템플릿 대응을 수행하게 된다.When
도 5는 본 발명에 따른 코 영역 검출 방법을 통해 검출된 코 영역의 실시예를 나타내는 도면이다.5 is a view showing an embodiment of a nose region detected by the nose region detection method according to the present invention.
도 5를 참조하면, 510은 밝은 환경에서 좌측으로 회전한 얼굴 영상에서 검출된 코 영역을 나타내고, 520는 밝은 환경에서 정면 얼굴 영상에서 검출된 코 영역을 나타낸다. 530는 밝은 환경에서 우측으로 회전한 얼굴 영상에서 검출된 코 영역을 나타내고, 540는 어두운 환경에서 정면 얼굴 영상에서 검출된 코 영역을 나타낸다. 522영역은 밝은 환경에서 정면 얼굴 영상에서 검출된 콧구멍 영역을 나타내며, 521영역은 검출된 최종의 코 영역을 나타낸다.
Referring to FIG. 5,
이상 바람직한 실시예를 들어 본 발명을 상세하게 설명하였으나, 본 발명은 전술한 실시예에 한정되지 않고, 본 발명의 기술적 사상의 범위 내에서 당 분야에서 통상의 지식을 가진자에 의하여 여러 가지 변형이 가능하다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It is possible.
210: 0° 회전된 얼굴 형상
211: 0° 회전된 얼굴 형상에 따른 코 영역의 형상 특성
220: 45° 회전된 얼굴 형상
221: 45° 회전된 얼굴 형상에 따른 코 영역의 형상 특성
230: -45° 회전된 얼굴 형상
231: -45° 회전된 얼굴 형상에 따른 코 영역의 형상 특성
240: -90° 회전된 얼굴 형상
241: -90° 회전된 얼굴 형상에 따른 코 영역의 형상 특성
410: 한 개의 콧구멍만이 취득된 얼굴 영상
411: 한 개의 콧구멍만이 취득된 얼굴 영상에 따른 코 영역의 형상 특성210: 0 ° rotated face shape
211: Shape characteristic of nose region according to 0 ° rotated face shape
220: 45 ° rotated face shape
221: Shape characteristic of nose region with 45 ° rotated face shape
230: -45 ° rotated face shape
231: Shape Characteristic of Nose Region According to -45 ° Rotated Face Shape
240: -90 ° rotated face shape
241: Shape Characteristic of Nose Region with -90 ° Rotated Face Shape
410: Facial image acquired with only one nostril
411: Shape characteristic of nose region according to facial image acquired with only one nostril
Claims (4)
상기 검출된 얼굴 영역 및 얼굴 특징점을 기반으로 코 탐색 영역을 설정하는 단계;
이전 프레임에서의 코 영역 템플릿 존재 유무를 판단하는 단계;
상기 판단 결과 이전 프레임에 코 영역 템플릿이 존재하는 경우, 상기 설정된 코 탐색 영역과 이전 프레임 영역의 코 영역 템플릿을 이용하여 적응 템플릿 대응(Adaptive Template Matching)을 수행하는 단계; 및
상기 적응 템플릿 대응의 매칭값이 기 설정된 임계값을 초과하는 경우 검출된 적응 템플릿 대응에서 결정된 최대 매칭값에 따른 위치를 최종 코 영역으로 검출하는 단계;
를 포함하는 코 영역 검출 방법.Detecting face feature points in the face region and the face region from the acquired face image;
Setting a nose search region based on the detected face region and the facial feature point;
Determining whether a nose region template exists in a previous frame;
Performing Adaptive Template Matching using the nose region template of the set nose search region and the previous frame region when the nose region template exists in the previous frame as a result of the determination; And
Detecting, as a final nose region, a position according to a maximum matching value determined in correspondence with the detected adaptive template when the matching value corresponding to the adaptive template exceeds a predetermined threshold value;
/ RTI >
상기 코 영역을 검출하는 단계는,
상기 검출된 코 탐색 영역에서 두 개의 콧구멍 형상 특성 및 집적 영상 기법을 통해 코 영역을 검출하는 것을 특징으로 하는 코 영역 검출 방법.The method according to claim 1,
Wherein detecting the nose region comprises:
Wherein the nose region is detected through the two nostril shape features and the integrated image technique in the detected nose region.
상기 코 영역을 검출하는 단계는,
상기 검출된 코 탐색 영역에서 한 개의 콧구멍 형상 특성 및 집적 영상 기법을 통해 코 영역을 검출하는 것을 특징으로 하는 코 영역 검출 방법.The method according to claim 1,
Wherein detecting the nose region comprises:
Wherein the nose region is detected through one nostril shape characteristic and an integrated image technique in the detected nose search region.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120146363A KR101788070B1 (en) | 2012-12-14 | 2012-12-14 | Method for nose region detection |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120146363A KR101788070B1 (en) | 2012-12-14 | 2012-12-14 | Method for nose region detection |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140089448A KR20140089448A (en) | 2014-07-15 |
KR101788070B1 true KR101788070B1 (en) | 2017-10-20 |
Family
ID=51737550
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120146363A KR101788070B1 (en) | 2012-12-14 | 2012-12-14 | Method for nose region detection |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101788070B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112329665B (en) * | 2020-11-10 | 2022-05-17 | 上海大学 | Face snapshot system |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006090449A1 (en) * | 2005-02-23 | 2006-08-31 | Fujitsu Limited | Image processing method, image processing device, image processing system, and computer program |
JP2007334810A (en) * | 2006-06-19 | 2007-12-27 | Toshiba Corp | Image area tracking device and method therefor |
JP2008209969A (en) * | 2007-02-23 | 2008-09-11 | Aisin Seiki Co Ltd | Apparatus for detecting face feature point, method of detecting face feature point, and program |
-
2012
- 2012-12-14 KR KR1020120146363A patent/KR101788070B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006090449A1 (en) * | 2005-02-23 | 2006-08-31 | Fujitsu Limited | Image processing method, image processing device, image processing system, and computer program |
JP2007334810A (en) * | 2006-06-19 | 2007-12-27 | Toshiba Corp | Image area tracking device and method therefor |
JP2008209969A (en) * | 2007-02-23 | 2008-09-11 | Aisin Seiki Co Ltd | Apparatus for detecting face feature point, method of detecting face feature point, and program |
Also Published As
Publication number | Publication date |
---|---|
KR20140089448A (en) | 2014-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10600207B2 (en) | Posture state estimation apparatus and posture state estimation method | |
Gourier et al. | Estimating face orientation from robust detection of salient facial structures | |
WO2017133605A1 (en) | Method and device for facial tracking and smart terminal | |
Jain et al. | Real-time upper-body human pose estimation using a depth camera | |
US9480417B2 (en) | Posture estimation device, posture estimation system, and posture estimation method | |
JP5873442B2 (en) | Object detection apparatus and object detection method | |
US8891819B2 (en) | Line-of-sight detection apparatus and method thereof | |
US8837773B2 (en) | Apparatus which detects moving object from image and method thereof | |
WO2020125499A1 (en) | Operation prompting method and glasses | |
EP2704056A2 (en) | Image processing apparatus, image processing method | |
Vezhnevets | Face and facial feature tracking for natural HumanComputer Interface | |
CN113011385B (en) | Face silence living body detection method, face silence living body detection device, computer equipment and storage medium | |
CN110073363B (en) | Tracking the head of an object | |
Li et al. | Robust multiperson detection and tracking for mobile service and social robots | |
Nguyen et al. | Tracking aspects of the foreground against the background | |
CN112101208A (en) | Feature series fusion gesture recognition method and device for elderly people | |
WO2010042068A1 (en) | Method and system for object detection and tracking | |
KR101542206B1 (en) | Method and system for tracking with extraction object using coarse to fine techniques | |
Jean et al. | Body tracking in human walk from monocular video sequences | |
KR101788070B1 (en) | Method for nose region detection | |
Park et al. | Head segmentation and head orientation in 3d space for pose estimation of multiple people | |
Li et al. | Hand shape recognition and estimation for South African sign language | |
Wang et al. | Adaptive visual tracking based on discriminative feature selection for mobile robot | |
Chen et al. | A robust facial feature tracking system | |
KR102389066B1 (en) | Face Image Generating Method for Recognizing Face |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
N231 | Notification of change of applicant | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |