KR101308656B1 - 컬러 증명용 사진의 얼굴후보영역 또는 피부영역 검색 방법 - Google Patents

컬러 증명용 사진의 얼굴후보영역 또는 피부영역 검색 방법 Download PDF

Info

Publication number
KR101308656B1
KR101308656B1 KR1020120070978A KR20120070978A KR101308656B1 KR 101308656 B1 KR101308656 B1 KR 101308656B1 KR 1020120070978 A KR1020120070978 A KR 1020120070978A KR 20120070978 A KR20120070978 A KR 20120070978A KR 101308656 B1 KR101308656 B1 KR 101308656B1
Authority
KR
South Korea
Prior art keywords
value
color
hue
photo
face
Prior art date
Application number
KR1020120070978A
Other languages
English (en)
Inventor
이충호
Original Assignee
한밭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한밭대학교 산학협력단 filed Critical 한밭대학교 산학협력단
Priority to KR1020120070978A priority Critical patent/KR101308656B1/ko
Application granted granted Critical
Publication of KR101308656B1 publication Critical patent/KR101308656B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 컬러 증명용 사진의 얼굴후보영역 또는 피부영역 검색 방법에 관한 것으로서, 상세하게는 컬러 증명용 사진의 모든 화소를 조사하지 않고 특정 지점의 화소에서 색상(Hue) 값을 계산하여 일정 범위안의 색상(Hue) 값을 갖는 영역을 얼굴후보영역 또는 피부영역으로 간주하는 방법이다. 구체적으로는, 컬러로 촬영된 증명사진에서 얼굴영역을 신속하게 검색하는 방법을 제공하기 위하여 증명사진의 가운데 부분 또는 얼굴중앙부분을 지나는 세로선 상에서 색상(Hue) 값을 계산하고, 이를 근거로 피부영역 또는 얼굴후보영역을 검출하는 것이다.

Description

컬러 증명용 사진의 얼굴후보영역 또는 피부영역 검색 방법 { A detection method of face candidate region or skin region for color identification photographs }
본 발명은 컬러 증명용 사진의 얼굴후보영역 또는 피부영역 검색 방법에 관한 것으로서, 상세하게는 컬러 증명용 사진의 모든 화소를 조사하지 않고 특정 지점의 화소에서 색상(Hue) 값을 계산하여 일정 범위안의 색상(Hue) 값을 갖는 영역을 얼굴후보영역 또는 피부영역으로 간주하는 방법이다. 구체적으로는, 컬러로 촬영된 증명사진에서 얼굴영역을 신속하게 검색하는 방법을 제공하기 위하여 증명사진의 가운데 부분 또는 얼굴중앙부분을 지나는 세로선 상에서 색상(Hue) 값을 계산하고, 이를 근거로 피부영역 또는 얼굴후보영역을 검출하는 것이다.
얼굴인식은 생체인식 분야에서 가장 많이 이용되고 있는 중요한 분야이다. 특히, 지문이나 DNA 등과는 달리 실제로 모든 사회분야에서 증명용 사진이 사용되고 있으며, 따라서 그 사용분야는 광범위하다고 할 수 있다. 특히, 여권사진, 증명사진, 비자사진 등에서 사용되는 방대한 양의 컬러사진을 검색하여 비교하자고 하는 인물이 같은 인물인지를 결정하는 것은 정보처리 분야에서 매우 중요한 분야로 자리매김하고 있으며 2000년 이후로 활발한 연구가 이루어지고 있다.
얼굴인식분야에서 기 보고된 대표적인 기술로는 RGB 색상공간, HSI(Hue Saturation Intensity) 색상공간 또는 YCbCr(Illuminance Chrominace blue Chrominance red) 색상공간에서 피부색상을 인식하여 얼굴부분을 추출하도록 하고 있다.
색상은 일반적으로 RGB 모델로 표현된다. RGB는 삼원색인 빨강(Red), 녹색(Green), 파랑(Blue)로 구성된다. RGB 색공간은 색을 혼합하면 명도가 올라가는 가산 혼합 방식으로 색을 표현한다. RGB 색공간은 삼원색 각각의 색상을 0에서 255까지 256의 색도로 구분하며, 이를 혼합하여 공간상의 좌표로 표현한 것이다. 예를 들어 (255, 0, 0)은 빨강색이 255의 색도가 있으며, 녹색과 파랑은 0의 색도를 가지고 있으므로 빨강색을 표현한다. 이와 유사하게 (0, 255, 0)은 녹색을 표현하며, (0, 0, 255)는 파랑을 표현하고, (255, 255, 255)는 하얀 색을 표현하게 된다. RGB 모형은 컴퓨터 그래픽스 시스템의 설계를 간단하게 하지만, 빨강, 녹색, 파랑의 컬러 요소들의 상호관계가 너무 크다는 단점이 있기 때문에 모든 어플리케이션에서는 이상적이지 않다. 그래서 영상처리를 하기 어렵다.
따라서 영상의 처리를 위해서는 RGB 대신에 HSI 모델을 사용하는 것이 더욱 쉽다. HSI는 색상(Hue), 채도(Saturation), 명도(Intensity) 세 가지를 사용한다. 색상(Hue)의 범위는 0에서 360도이며, 0도이면 빨강, 60도는 노란색, 120도는 녹색, 240도는 파랑색을 나타낸다. 빨강색에서 분홍색으로 변환하기 위해서는 단순히 채도를 조절하면 된다. 어두운 것을 밝게 하기 위해서는 명도를 높이면 된다.
YCbCr은 영상 시스템에서 사용되는 색공간의 일종이다. Y는 휘도 성분이며 Cb 와 Cr 은 색차 성분이다. YCbCr 은 가끔 YCC 라고 줄여 부르기도 한다. YCbCr 은 RGB 정보를 인코딩하는 방식의 하나로, 실제로 보여지는 이미지의 색은 신호를 디스플레이 하기 위해 사용된 원본 RGB 정보에 의존한다. 따라서 YCbCr 로 표현된 값은 표준 RGB 색상이 사용된 경우거나, 색상을 변환하기 위해 사용할 ICC 프로파일을 첨부한 경우에만 예측할 수 있다.
그러나 피부색상은 사람마다 모두 다르기 때문에 증명사진에서 얼굴을 인식하는데 어려움이 있다. 특히, 인종별로 다르며 여성과 남성이 다르기 때문에 피부색상을 오차없이 인식하기 위하여 다양한 인종, 성별의 인물사진에 대한 많은 데이터를 가지고 실험하여 일정범위에 있는 색상을 피부색상으로 인식하도록 하고 있다.
하지만, 이 방법들은 다양한 인종만큼 피부색상이 다양하여 일정범위에 있는 색상을 피부색상으로 인식하도록 하여도 인종 또는 성별에 따라 원하는 결과를 얻지 못할 경우가 발생하며, 촬영조건에 따라 색상이나 조명이 다르기 때문에 데이터에 따라서는 정확한 결과를 얻지 못할 수 있으며 특히 많은 양의 데이터를 다룰 때에는 시간이 오래 소요된다.
얼굴인식분야에서 컬러증명사진의 얼굴부분을 검색하는 방법은 CCTV나 방범카메라에서의 일반적인 얼굴인식과 크게 다르지 않으나 촬영시의 규정을 이용한다면 컬러증명사진에서 얼굴부분을 신속하게 검색할 수 있게 된다. 왜냐하면 증명사진의 경우에는 얻어진 인물사진이 중앙에 위치하고, 무표정, 얼굴크기의 제한, 악세사리의 제한, 복장의 제한, 비교적 일정한 조명 등으로 인하여 얼굴인식을 보다 손쉽게 할 수 있으며 현재는 증명사진의 품질을 측정하는 방법도 보고되어 있는 실정이다.
한국특허 공개공보 제2006-0054540호에는 외부 조명 변화에 보다 강인한 얼굴 인식 방법이 기재되어 있다. 상기 방법에 따른 얼굴 인식 장치는, 입력 영상에서 추출된 얼굴 영역에서 소정 개수의 특징점을 추출하는 얼굴 로컬라이저와, 추출된 얼굴의 특징점들 각각에 대해 복수의 방향성과 복수의 주파수를 갖는 가버 필터들의 집합을 적용시켜 반응값을 구하고 구해진 반응값들로 이루어진 1차원 벡터를 생성하는 가버 필터부와, 생성된 1차원 벡터가 학습 영상에 관한 값인 경우에 1차원 벡터들을 저장하는 학습 데이터 저장부와, 저장된 1차원 벡터들을 이용하여 이진 판별 기준을 생성하고 생성된 1차원 벡터가 인식 대상 영상에 대한 값인 경우에는 생성된 1차원 벡터를 이진 판별기준에 적용하여 동일인 여부를 판별하는 이진 분류기로 이루어진다. 다른 한국등록특허공보 제10-714726호에는 얼굴 인식 방법 및 장치가 기재되어 있다. 상기 등록특허의 실시 예에 따른 얼굴 인식 장치는 얼굴 영상에서 추출된 복수의 기준점에 대하여 서로 다른 특성을 갖는 가버 필터들을 적용하여 반응값들을 구하는 가버 필터부, 상기 반응값들을 그룹화하여 얻은 반응값 그룹별로 선형판별분석을 수행하는 선형판별분석부, 서로 다른 얼굴 영상에 대하여 상기 선형판별분석을 통하여 얻어진 선형판별분석 결과값들 간의 유사도를 계산하는 유사도 계산부, 및 상기 계산된 유사도에 기초하여 상기 얼굴 영상을 분류하는 판별부를 포함한다. 또 다른 한국공개특허공보 제2008-0049394호에는 조명변화에 관계없이 얼굴 인식을 할 수 있는 얼굴 인식을 위한 전처리 방법, 이를 이용한 얼굴 인식방법 및 장치가 제공되어 있다. 상기 공개특허에는, 얼굴을 포함하는 영상을 입력받는 단계와 상기 입력된 영상으로부터 얼굴 영역을 추출하는 단계와 상기 얼굴 영역의 각 픽셀별 해당 이웃 영역을 산출하는 단계와 상기 산출된 이웃 영역 내에서 해당 픽셀의 밝기값보다 작은 밝기값을 갖는 픽셀의 비율에 따라서, 해당 픽셀의 화소값을 조정하는 단계 및 상기 얼굴 영역의 특징을 추출하여 얼굴 인식을 수행하는 단계를 포함하는 얼굴 인식을 위한 전처리 방법, 이를 이용한 얼굴 인식 방법 및 장치에 관한 것이다. 그러나 상기 한국공개특허공보 제2006-0054540호 및 한국등록특허공보 제10-714726호는 통계학적 확률을 기반으로 하는 각종 이진 분류방법에 비하여 그 인식 정확도가 미흡한 단점이 있으며, 상기 이진 분류방법은 일반적인 환경에서는 탁월한 얼굴 인식 성능을 나타내기는 하지만, 조명 변화가 심한 환경에서는 그 인식 성능이 현저히 감소한다. 또한, 한국공개특허공보 제2008-0049394호는 추출된 얼굴 영역에서 특정 구성요소의 위치에 근거하여 얼굴 영역을 일정하게 정규화하는 기하학적 전처리를 수행하기 때문에 증명사진에서 얼굴영역을 처리하는 시간이 오래 걸리거나, 색상이 다른 경우에는 여전히 데이터에 따라서 정확한 결과를 얻지 못하는 경우가 있었다. 종래기술들에서는 증명사진의 규정을 따르는 경우에도 촬영 시의 조명조건과 촬영후의 편집에 의한 색상이나 조명이 달라지거나 인종이 같아도 각 사람의 개인차에 따라 얼굴색상의 다양하기 때문에 얼굴영역이나 피부영역 검출에 실패하는 문제점이 있었다. 이러한 문제점을 해결하기 위하여 많은 양의 인물데이터를 조사하여 피부색상의 통계를 계산한 값을 이용하여도 특정한 데이터에 대하여는 얼굴영역 또는 피부영역을 일률적으로 검출하기 어려웠다.
상술한 문제점들을 해결하기 위한 본 발명의 목적은 컬러로 촬영된 디지털 증명사진의 가운데 부분 또는 얼굴중앙부분을 지나는 세로선 상에서 색상(Hue) 값을 계산하고, 이를 근거로 피부영역 또는 얼굴후보영역을 검출하여 얼굴영역을 검색하는 방법을 제공하는 것이다.
본 발명의 실시예 1에서는 상기 문제점을 해결하기 위하여 컬러용 증명사진의 가로길이의 1/2의 위치를 지나는 세로선과, 상기 컬러용 증명사진의 상단에서부터 사진의 가로길이의 1/2위치에 해당하는 가로선이 만나는 위치의 화소를 중심으로 일정범위에 있는 화소들을 추출하는 단계, 상기 추출된 화소에 대하여 색상(Hue)값을 계산하는 단계, 상기 계산된 색상(Hue)값에 따라 얼굴후보영역 또는 피부영역을 결정하는 단계를 포함하는 컬러용 증명사진의 얼굴영역 검색방법을 제공한다.
본 발명의 실시예 2에서는 사진의 가로 길이의 1/2에 해당하는 점을 지나는 세로 선상의 모든 화소들을 추출하는 단계, 상기 추출된 화소에 대하여 색상(Hue)의 값을 계산하는 단계, 상기 계산된 색상(Hue) 값에 따라 얼굴후보영역 또는 피부영역을 결정하는 단계를 포함하는 컬러용 증명사진의 얼굴영역 검색방법을 제공한다.
본 발명의 실시예 3에서는 사진의 가로길이의 1/2의 위치를 지나는 세로선과, 사진의 상단에서부터 사진의 가로길이의 1/2위치에 해당하는 가로선이 만나는 위치의 화소에서부터, 사진의 하단까지의 세로선상의 화소에 대하여 색상(Hue)의 값을 계산하는 단계, 상기 계산된 색상(Hue) 값에 따라 얼굴후보영역 또는 피부영역을 결정하는 단계를 포함하는 컬러용 증명사진의 얼굴영역 검색방법을 제공한다.
상기 본 발명의 실시예들에서 얼굴후보영역 또는 피부영역은 각 실시예에서 계산된 색상(Hue) 값의 평균치에서 일정범위의 색상(Hue) 값을 갖는 영역 또는 계산된 색상(Hue) 값의 최대치와 최소치에 범위 내에 있는 색상(Hue) 값을 갖는 영역을 으로 결정한다. 물론 얼굴후보영역 또는 피부영역의 정확한 결정을 위하여 색상(Hue) 값의 평균치와 최대치, 최소치에 일정 마진폭을 두어 색상(Hue)값의 범위를 정할 수도 있다.
상기와 같은 방법에 의한 본 발명의 얼굴영역 검색 방법은 방대한 증명용 사진 데이터를 가지고 특정 인물을 인식하기 위한 전처리과정에서 얼굴영역을 검색하는데 신속하게 사용할 수 있다.
본 방법은 여권사진에서 얼굴영역을 추출하는 것과 방대한 양의 디지털화된 주민등록용 사진, 외국인등록증의 사진 등에서 다양한 인종의 얼굴영역을 검출하는 데에 사용될 수 있다.
또한, 이 장치는 휴대폰 등으로 한 명의 인물을 촬영하는 경우에도 손쉽게 얼굴영역을 검색하는데 사용될 수 있을 것이다.
특히, 본 방법은 인물이 한 명이고 배경이 단순한 경우에 조명에 상관없이 사진속의 색상데이터만으로 얼굴영역을 신속하게 검색할 수 있는 장점이 있어 방대한 양의 증명용 사진 데이터에서 얼굴영역을 신속하게 검색하는 방법을 제공할 수 있다.
도 1은 증명용 사진 중 한국 여권사진의 규격을 도시하는 도면.
도 2는 얼굴영역의 색상(Hue)계산을 위해 증명용 사진의 중심 부분을 추출하는 도면.
도 3은 증명용 사진의 가로방향 중점인 1/2 길이 지점을 지나는 수직선상 화소의 색상(Hue)을 조사하여 얼굴영역 또는 피부영역의 기준색상을 정하는 도면
도 4는 증명용 사진의 가로방향 중점인 1/2 길이지점을 지나는 수직선상의 색상(Hue) 값의 변화도(황인종).
도 5는 증명용 사진의 가로방향 중점인 1/2 길이지점을 지나는 수직선상의 색상(Hue) 값의 변화도(흑인종).
도 6은 증명용 사진의 가로방향 중점인 1/2 길이지점을 지나는 수직선상의 색상(Hue) 값의 변화도(백인종).
도 7은 본 발명의 얼굴 검색방법을 실현하기 위한 얼굴검색장치의 블록도
이하 첨부한 도면들을 참조하여 본 발명의 증명용 사진에서 얼굴후보영역 또는 피부영역의 검출방법에 대하여 상세히 설명한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위한 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다.
이때, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다.
도 1은 증명용 사진 중 한국 여권사진의 규격을 나타내는 도면이다.
여권사진의 규격은 가로 3.5cm이고 세로 4.5cm이다. 눈높이는 최고 3.2cm이고 최저 2.2cm이다. 머리(머리 정수리부터 턱까지)의 크기는 세로 방향으로 2.5cm에서 3.5cm이다. 이와 같이 증명용으로 사용되는 사진의 크기는 규격을 가지고 있다. 일반적으로 이력서 등에 사용되는 증명사진의 규격은 가로 3cm이고 세로 4이며, 반명함 사진의 규격은 가로 3cm이고 세로 4cm이다. 또한, 명함판 사이즈의 규격은 가로 5cm이고 세로 7cm이며, 공무원증 사진의 규격은 가로 4cm이고 세로 5cm이며, 비자사진의 규격은 가로 5cm이고 세로 5cm이다.
도 2는 증명용 사진의 중심부분을 추출하여 얼굴영역의 기준색상을 정하는 방법이다.
도 3은 증명용 사진의 가로방향의 중점인 1/2 길이 지점을 지나는 수직선상 화소의 색상(Hue) 값을 조사하여 얼굴영역 또는 피부영역의 기준색상을 정하는 방법을 보여 준다.
이하에서 도 2와 도3을 참조로 하여 본 발명의 컬러용 증명사진의 얼굴영역 검색방법을 상세히 설명한다.
<실시예 1>
본 발명의 실시예 1은 컬러용 증명사진의 가로길이의 1/2의 위치를 지나는 세로선과, 컬러용 증명사진의 상단에서부터 사진의 가로길이의 1/2위치에 해당하는 가로선이 만나는 위치의 화소를 중심으로 일정범위에 있는 화소들을 추출하는 단계, 상기 추출된 화소에 대하여 색상(Hue)값을 계산하는 단계, 상기 계산된 색상(Hue)값에 따라 얼굴후보영역 또는 피부영역을 결정하는 단계를 포함하는 컬러용 증명사진의 얼굴영역 검색방법이다.
상기 추출된 화소의 색상(Hue) 값에서 얼굴영역을 검색하는 방법은 2가지가 있을 수 있다. 추출된 화소의 색상(Hue) 값의 평균값을 계산하여 이를 이용하는 방법이 있을 수 있으며, 추출된 화소의 색상(Hue) 값의 최대치와 최소치를 이용하는 방법이 있을 수 있다.
먼저 추출된 화소의 색상(Hue) 값의 평균값을 계산하여 이를 이용하는 방법으로, 그 평균값의 일정 범위에 있는 색상과 같은 영역을 얼굴후보영역으로 결정하는 방법이다. 예를 들어 256x330화소의 인물사진의 경우에 왼쪽 위를 (0,0)이라고 하는 경우 가로 성분은 왼쪽에서 가로크기(256)의 1/2부분인 128이며, 세로성분도 위쪽에서부터 똑같이 가로크기의 1/2이 되는 128이 되는 위치인 (128,128)의 화소위치를 중심으로 하는 정방형 10x10화소[(123, 123), (123, 124), (123, 125) ……, (131, 133), (132, 133), (133,133)] 또는 그 중심에서 5화소만큼의 거리에 있는 원형 화소들의 색상(Hue)의 평균값을 계산하고, 그 평균값이 예를 들어 23인 경우에 그 평균값 23을 이용하는 것이다. 이때 평균값에 일정 마진폭을 두어 평균값에서 마진폭의 범위 안에 있는 색상(Hue) 값의 영역을 얼굴후보영역 또는 피부영역으로 결정하는 것이다. 예를 들어 일정 마진폭을 ± 5만큼 주는 경우에는 색상(Hue) 값이 18에서 28까지의 영역을 얼굴후보영역 또는 피부영역으로 결정하는 것이다.
또는 추출된 화소의 색상(Hue) 값의 평균값 대신에 최대치와 최소치를 검색하여 이 수치범위에 있는 영역을 얼굴후보영역 또는 피부영역으로 결정하는 방법이다.
예를 들어 256x330화소의 인물사진의 경우에 왼쪽 위를 (0,0)이라고 하는 경우 가로 성분은 왼쪽에서 가로크기(256)의 1/2부분인 128이며, 세로성분도 위쪽에서부터 똑같이 가로크기의 1/2이 되는 128이 되는 위치인 (128,128)의 화소위치를 중심으로 하는 정방형 10x10화소[(123, 123), (123, 124), (123, 125) ……, (131, 133), (132, 133), (133,133)] 또는 그 중심에서 5화소만큼의 거리에 있는 원형 화소들의 색상(Hue)의 최대값와 최소값을 검색하여 최소값이 18이고, 최대값이 26이라면 그 범위내의 색상(Hue)값을 갖는 영역을 얼굴후보영역 또는 피부영역으로 결정하는 것이다. 여기서도 일정부분의 화소에 대한 색상(Hue)값의 최대값과 최소값을 검색한 것이므로, 일정 마진폭을 두어 얼굴후보영역 또는 피부영역을 결정할 수 있다. 예를 들어 일정 마진폭을 ± 5만큼 주는 경우에는 색상(Hue) 값이 13에서 31까지의 영역을 얼굴후보영역 또는 피부영역으로 결정하는 것이다.
색상(Hue) 값은 컬러용 증명사진의 화소에 나타난 R(Red), G(Green), B(Blue) 값에서 아래 식1로 구할 수 있다.
Figure 112012052265119-pat00001
(1)
단, B>G인 경우에는 H=360-H
<실시예2>
본 발명의 실시예 2에서는 사진의 가로 길이의 1/2에 해당하는 점을 지나는 세로 선상의 모든 화소들을 추출하는 단계, 상기 추출된 화소에 대하여 색상(Hue)의 값을 계산하는 단계, 상기 계산된 색상(Hue)값이 일정 임계치를 넘지 않고 변화하는 가장 긴 구간의 화소들에 대한 색상(Hue)값을 검출하는 단계, 상기 검출된 색상(Hue) 값에 따라 얼굴후보영역 또는 피부영역을 결정하는 단계를 포함하는 컬러용 증명사진의 얼굴영역 검색방법을 제공한다.
여기서도 본 발명의 실시예1에서와 마찬가지로 상기 검출된 색상(Hue) 값에서 얼굴영역을 검색하는 방법은 2가지가 있을 수 있다. 검출된 화소의 색상(Hue) 값의 평균값을 계산하여 이를 이용하는 방법이 있을 수 있으며, 검출된 화소의 색상(Hue) 값의 최대치와 최소치를 이용하는 방법이 있을 수 있다.
먼저 검출된 화소의 색상(Hue) 값의 평균값을 계산하여 이를 이용하는 방법으로, 그 평균값의 일정 범위에 있는 색상과 같은 영역을 얼굴후보영역으로 결정하는 방법이다.
예를 들어, 색상(Hue)값의 일정 임계치를 100으로 설정하였을 때, 사진의 가로 길이의 1/2에 해당하는 점을 지나는 세로 선상의 모든 화소에 대하여 색상(Hue)의 값을 계산하고, 일정 임계치 100 이하의 색상(Hue) 값을 갖는 구간들 중에서 가장 긴 구간을 구한 이후에, 가장 긴 구간의 화소의 색상(Hue)값의 평균값이 20인 경우, 그 평균값 20을 이용하는 것이다. 이때 평균값에 일정 마진폭을 두어 색상(Hue)의 평균값에서 마진폭의 범위 안에 있는 색상(Hue) 값의 영역을 얼굴후보영역 또는 피부영역으로 결정하는 것이다. 여기서, 예를 들어 일정 마진폭을 ± 5만큼 주는 경우에는 색상(Hue) 값이 15에서 25까지의 영역을 얼굴후보영역 또는 피부영역으로 결정하는 것이다.
또는 추출된 화소의 색상(Hue) 값의 평균값 대신에 최대치와 최소치를 검색하여 이 수치범위에 있는 영역을 얼굴후보영역 또는 피부영역으로 결정하는 방법이다. 예를 들어 색상(Hue)값의 일정 임계치를 100으로 설정하였을 때, 색상(Hue)값이 임계치 100이하에서 지속되는 구간으로 구분한 다음 그 중 가장 긴 구간을 구하고, 가장 긴 구간의 색상(Hue)값의 최소치와 최대치가 10과 40으로 정해지면 이 색상(Hue)값 이내의 영역을 얼굴후보영역 또는 피부영역으로 결정하는 것이다. 여기서도 본 발명의 실시예1에서와 같이 증명사진의 모든 화소가 아닌 가로 길이의 1/2에 해당하는 점을 지나는 세로 선상의 모든 화소에 대한 색상(Hue)값의 최대값과 최소값을 검출한 것이므로, 일정 마진폭을 두어 얼굴후보영역 또는 피부영역을 결정할 수 있다. 예를 들어 일정 마진폭을 ± 5만큼 주는 경우에는 색상(Hue) 값이 5에서 45까지의 영역을 얼굴후보영역 또는 피부영역으로 결정하는 것이다.
색상(Hue) 값은 본 발명의 실시예 1과 같이 컬러용 증명사진의 화소에 나타난 R(Red), G(Green), B(Blue) 값에서 아래 식1로 구할 수 있다.
Figure 112012052265119-pat00002
(1)
단, B>G인 경우에는 H=360-H
본 발명의 실시예 2를 도4, 도5를 참고로 설명한다. 도 4에서 색상(Hue)값이 100 이하에서 변화하는 구간은 화소 31에서 91구간과 98에서 128구간이 있다. 이중에서 가장 긴 구간은 31에서 91구간이므로 이 구간의 색상(Hue)값의 최대치와 최소치를 검출하면 17과 8을 얻을 수 있으며, 이 범위내에 있는 영역을 얼굴후보영역 또는 피부영역으로 결정하는 것이다. 여기서 일정 마진폭을 ±5로 한다면 색상(Hue)값이 22와 3의 범위 내에 있는 영역을 얼굴후보영역 또는 피부영역으로 결정할 수 있을 것이다.
도 5에서 색상(Hue)값이 100 이하에서 변화하는 구간은 화소1에서 20구간, 22에서 91구간, 94에서 132구간이다. 이중에서 가장 긴 구간은 22에서 91구간이므로, 이 구간의 색상(Hue)값의 최대치와 최소치를 검출하면 33과 6를 얻을 수 있으며, 이 범위내에 있는 영역을 얼굴후보영역 또는 피부영역으로 결정하는 것이다. 여기서 일정 마진폭을 ±5로 한다면 색상(Hue)값이 38과 1의 범위 내에 있는 영역을 얼굴후보영역 또는 피부영역으로 결정할 수 있을 것이다.
상기에서 도4 및 도5의 가장 긴 구간에서 색상의 최대값과 최소값을 이용하였으나, 평균값을 이용할 수 있음은 본 발명의 기술분야에서 통상의 지식을 가진 자에게는 자명한 사실이다.
<실시예3>
상기 실시예 2에서는 사진의 가로 길이의 중점(1/2)을 지나는 수직선상에 있는 모든 화소의 색상(Hue)값을 계산하여 이중에서 가장 긴 구간을 이용하였는데, 실시예3에서는 사진의 상단에서부터 시작하는 것이 아니라 실시예1에서 구한 화소에서부터 색상(Hue)값을 계산하여 얼굴후보영역 또는 피부영역을 결정하는 것이다.
즉, 본 발명의 실시예 3에서는 컬러용 증명사진의 가로길이의 1/2의 위치를 지나는 세로선과, 컬러용 증명사진의 상단에서부터 사진의 가로길이의 1/2위치에 해당하는 가로선이 만나는 위치부터 증명사진의 하단에 위치하며 가로길이의 중점(1/2)을 지나는 수직선상 위치의 화소들을 추출하는 단계, 상기 추출된 화소에 대하여 색상(Hue)의 값을 계산하는 단계, 상기 계산된 색상(Hue)값이 일정 임계치를 넘지 않고 변화하는 가장 긴 구간의 화소들에 대한 색상(Hue)값을 검출하는 단계, 상기 검출된 색상(Hue) 값에 따라 얼굴후보영역 또는 피부영역을 결정하는 단계를 포함하는 컬러용 증명사진의 얼굴영역 검색방법을 제공한다.
여기서도 본 발명의 실시예1, 2에서와 마찬가지로 상기 검출된 색상(Hue) 값에서 얼굴영역을 검색하는 방법은 2가지가 있을 수 있다. 검출된 화소의 색상(Hue) 값의 평균값을 계산하여 이를 이용하는 방법이 있을 수 있으며, 검출된 화소의 색상(Hue) 값의 최대치와 최소치를 이용하는 방법이 있을 수 있다.
먼저 검출된 화소의 색상(Hue) 값의 평균값을 계산하여 이를 이용하는 방법으로, 그 평균값의 일정 범위에 있는 색상과 같은 영역을 얼굴후보영역으로 결정하는 방법이다.
예를 들어, 색상(Hue)값의 일정 임계치를 100으로 설정하였을 때, 사진의 가로 길이의 1/2에 해당하는 점을 지나는 세로 선상의 모든 화소에 대하여 색상(Hue)의 값을 계산하고, 일정 임계치 100 이하의 색상(Hue) 값을 갖는 구간들 중에서 가장 긴 구간을 구한 이후에, 가장 긴 구간의 화소의 색상(Hue)값의 평균값이 20인 경우, 그 평균값 20을 이용하는 것이다. 이때 평균값에 일정 마진폭을 두어 색상(Hue)의 평균값에서 마진폭의 범위 안에 있는 색상(Hue) 값의 영역을 얼굴후보영역 또는 피부영역으로 결정하는 것이다. 여기서, 예를 들어 일정 마진폭을 ± 5만큼 주는 경우에는 색상(Hue) 값이 15에서 25까지의 영역을 얼굴후보영역 또는 피부영역으로 결정하는 것이다.
또는 추출된 화소의 색상(Hue) 값의 평균값 대신에 최대치와 최소치를 검색하여 이 수치범위에 있는 영역을 얼굴후보영역 또는 피부영역으로 결정하는 방법이다. 예를 들어 색상(Hue)값의 일정 임계치를 100으로 설정하였을 때, 색상(Hue)값이 임계치 100이하에서 지속되는 구간으로 구분한 다음 그 중 가장 긴 구간을 구하고, 가장 긴 구간의 색상(Hue)값의 최소치와 최대치가 10과 40으로 정해지면 이 색상(Hue)값 이내의 영역을 얼굴후보영역 또는 피부영역으로 결정하는 것이다. 여기서도 본 발명의 실시예1, 2에서와 같이 증명사진의 모든 화소가 아닌 컬러용 증명사진의 가로길이의 1/2의 위치를 지나는 세로선과, 컬러용 증명사진의 상단에서부터 사진의 가로길이의 1/2위치에 해당하는 가로선이 만나는 위치부터 증명사진의 하단에 위치하며 가로길이의 중점(1/2)을 지나는 수직선상 위치의 화소에 대한 색상(Hue)값의 최대값과 최소값을 검출한 것이므로, 일정 마진폭을 두어 얼굴후보영역 또는 피부영역을 결정할 수 있다. 예를 들어 일정 마진폭을 ± 5만큼 주는 경우에는 색상(Hue) 값이 5에서 45까지의 영역을 얼굴후보영역 또는 피부영역으로 결정하는 것이다.
색상(Hue) 값은 본 발명의 실시예 1, 2와 같이 컬러용 증명사진의 화소에 나타난 R(Red), G(Green), B(Blue) 값에서 아래 식1로 구할 수 있다.
Figure 112012052265119-pat00003
(1)
단, B>G인 경우에는 H=360-H
본 발명의 실시예3은 본 발명의 실시예보다 계산되는 색상(Hue)값의 화소들이 감소되었기 때문에, 실시예2에 비하여 검색시간이 줄어드는 효과가 있다.
본 발명의 실시예1, 2, 3에서 가로화소가 홀수 개인 경우에는 가로길이의 1/2에 위치하는 화소를 사사오입 또는 절사의 방법으로 구할 수 있을 것이다. 즉, 만일 가로 화소가 107개라면 가로길이의 1/2는 53.5이나, 53.5화소는 존재하지 않으므로, 사사오입하여 54번째 화소 또는 절사하여 53번째 화소를 가로길이의 1/2에 위치하는 화소로 할 수 있다.
또한, 색상(Hue)값의 범위는 0에서부터 360이므로, 본 발명의 실시예 1, 2, 3에서 색상(Hue)값의 최대값 또는 최소값에 일정 마진폭(예를 들어 ±5)를 두었을 때, 색상(Hue)값이 360을 넘거나 음의 수가 나오면 색상(Hue)의 최대값를 360으로 한정하거나, 색상(Hue)의 최소값을 0으로 제한할 수 있다. 예를 들어, 색상(Hue)의 최대값이 357, 최소값이 2가 나왔을 경우에는 일정 마진폭을 두었더라도 색상의 최대값을 360, 최소값을 0으로 제한할 수 있을 것이다. 그리고, 상기 실시예1, 2, 3에서는 색상(Hue)값을 정수로 설명하였으나, 정수가 아니어도 무방하다.
또한, 사람의 입술색깔은 인종에 구분이 없이 일정하다고 알려져 있으며, 통상 색상(Hue)값이 300 이상이다. 따라서 상기에서 설명한 실시예 2와 실시예 3에서 실시한 가로 중심을 지나는 세로선상에 있는 색상(Hue)값을 계산하여 색상의 변화가 임계치 100이하에서 지속되는 가장 긴 구간이 끝나고 색상(Hue)값이 급격히 300이상으로 증가하여 지속되는 부분을 입술영역으로 결정할 수 있다.
예를 들어, 도4에서 91화소에서 97화소사이를 입술영역으로 간주할 수 있는 것이다.
다음은 도7을 참고로 본 발명의 실시예1, 2, 3을 실행하기 위한 컬러용 증명사진의 얼굴검색장치를 설명한다.
도 7은 본 발명의 컬러용 증명사진의 얼굴 검색장치의 블록도이다.
본 발명의 얼굴검색장치(700)는 컬러용 증명사진을 스캔하는 사진스캔부(710), 상기 스캔된 사진을 저장하는 메모리(720), 상기 메모리에 저장된 사진에서 색상(Hue)값을 계산하고자 하는 화소들을 추출하는 화소추출부(730), 추출된 화소들에 대하여 색상(Hue)값을 계산하는 색상 연산부(740), 상기 계산된 색상(Hue)값에 따라 얼굴후보영역 또는 피부영역을 결정하는 영역결정부(750)로 구성된다.
본 발명의 사진스캔부(710)는 일반적으로 사용되는 광학스캐너 등이 사용될 수 있으며, 컬러용 증명사진을 원하는 크기의 영상이미지로 변환할 수 있다. 본 발명의 메모리(720)는 상기 스캔된 사진을 저장하는 구성부로서, USB, CD, DVD, PC용 하드디스크, 네트워크용 서버 등 사진을 저장할 수 있는 구성부이면 된다.
본 발명의 화소추출부(730)는 메모리에 저장된 스캔 사진을 독출하여, 얼굴검색을 위해 계산하고자 하는 화소들을 추출하는 구성부이다. 본 발명의 색상연산부(740)는 상기 화소추출부(730)에서 추출된 화소들에 대한 R, G, B 값으로부터 색상(Hue)값을 상기 식1로부터 연산한다.
본 발명의 영역결정부(750)는 상기 색상연산부(740)에서 연산된 색상(Hue)값의 최대값, 최소값 검출부(751), 상기 색상연산부(740)에서 연산된 색상(Hue)값의 평균값 계산부(752), 상기 검출된 최대값, 최소값 또는 계산된 평균값에 일정 마진폭을 부여하는 일정 마진폭 부여부(753), 상기 최대값, 최소값 또는 평균값과 일정 마진폭에 따라 얼굴후보영역 또는 피부영역을 검출하는 영역검출부(754)를 포함하여 구성할 수 있다. 물론 일정 마진폭 부여부(753)는 본 발명의 기술분야에 속하는 통상의 지식을 가진 자라면 물리적 구성요소가 아닌 프로그램 또는 코드로도 만들 수 있을 것이다.
이상에서 본 발명을 상세히 설명하였지만, 본 발명은 상기한 실시예에 한정되지 아니하며, 적용범위가 다양함은 물론이고, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 다양한 변형 실시가 가능한 것은 물론이며, 본 발명의 권리범위는 청구범위에 기재된 기술적 사상에 의해 정해진다.
700: 얼굴검색장치
710: 사진스캔부, 720: 메모리 730: 화소추출부
740: 색상 연산부, 750: 영역결정부 751: 최대값, 최소값 검출부
752: 평균값 계산부 753: 일정 마진폭 부여부, 754: 영역검출부

Claims (9)

  1. 컬러용 증명사진의 가로길이의 1/2의 위치를 지나는 세로선과, 상기 컬러용 증명사진의 상단에서부터 사진의 가로길이의 1/2위치에 해당하는 가로선이 만나는 위치의 화소를 중심으로 일정범위에 있는 화소들을 추출하는 단계,
    상기 추출된 화소에 대하여 색상(Hue)값을 계산하는 단계,
    상기 계산된 색상(Hue)값에 따라 얼굴후보영역 또는 피부영역을 결정하는 단계를 포함하는 컬러용 증명사진의 얼굴영역 검색방법
  2. 제 1 항에 있어서,
    상기 얼굴후보영역 또는 피부영역을 결정하는 단계는 상기 계산된 색상(hue)값의 평균값 또는 최대값, 최소값 중 어느 하나에 따라 결정하는 것을 특징으로 하는 컬러용 증명사진의 얼굴영역 검색방법
  3. 컬러용 증명사진의 가로 길이의 1/2에 해당하는 점을 지나는 세로 선상의 모든 화소들을 추출하는 단계,
    상기 추출된 화소에 대하여 색상(Hue)의 값을 계산하는 단계,
    상기 계산된 색상(Hue)값이 일정 임계치를 넘지 않고 변화하는 가장 긴 구간의 화소들에 대한 색상(Hue)값을 검출하는 단계,
    상기 검출된 색상(Hue) 값에 따라 얼굴후보영역 또는 피부영역을 결정하는 단계를 포함하는 컬러용 증명사진의 얼굴영역 검색방법
  4. 컬러용 증명사진의 가로길이의 1/2의 위치를 지나는 세로선과, 컬러용 증명사진의 상단에서부터 사진의 가로길이의 1/2위치에 해당하는 가로선이 만나는 위치부터 증명사진의 하단에 위치하며 가로길이의 중점(1/2)을 지나는 수직선상 위치의 화소들을 추출하는 단계,
    상기 추출된 화소에 대하여 색상(Hue)의 값을 계산하는 단계,
    상기 계산된 색상(Hue)값이 일정 임계치를 넘지 않고 변화하는 가장 긴 구간의 화소들에 대한 색상(Hue)값을 검출하는 단계,
    상기 검출된 색상(Hue) 값에 따라 얼굴후보영역 또는 피부영역을 결정하는 단계를 포함하는 컬러용 증명사진의 얼굴영역 검색방법
  5. 제 3항 또는 제4항에 있어서,
    상기 얼굴후보영역 또는 피부영역을 결정하는 단계는 상기 검출된 색상(hue)값의 평균값 또는 최대값, 최소값 중 어느 하나에 따라 결정하는 것을 특징으로 하는 컬러용 증명사진의 얼굴영역 검색방법
  6. 제 3항 또는 제4항에 있어서,
    상기 가장 긴 구간의 화소 이후에 나타나는 구간에서 색상(Hue)값이 300이상으로 급격히 증가하는 구간을 입술영역으로 결정하는 것을 특징으로 하는 컬러용 증명사진의 얼굴영역 검색방법
  7. 제1항,2항,3항,4항 중 어느 한 항에서 있어서,
    상기 색상(Hue) 값은 하기 식 1로부터 계산되어지는 것을 특징으로 하는 컬러용 증명사진의 얼굴영역 검색방법

    Figure 112013055003157-pat00004
    (1)
    단, B>G인 경우에는 H=360-H
    (단, 여기서 R, G, B는 증명사진의 RGB모델에서의 색상 값을 의미한다.)
  8. 컬러용 증명사진의 얼굴영역 검색장치에 있어서,
    컬러용 증명사진을 스캔하는 사진스캔부(710),
    상기 스캔된 사진을 저장하는 메모리(720),
    상기 메모리에 저장된 사진에서 색상(Hue)값을 계산하고자 하는 화소들을 추출하는 화소추출부(730),
    추출된 화소들에 대하여 색상(Hue)값을 계산하는 색상 연산부(740) 및
    상기 계산된 색상(Hue)값에 따라 얼굴후보영역 또는 피부영역을 결정하는 영역결정부(750)를 포함하는 것을 특징으로 하는 컬러용 증명사진의 얼굴영역 검색장치
  9. 제8항에 있어서,
    상기 영역결정부(750)는 상기 색상연산부(740)에서 연산된 색상(Hue)값의 최대값, 최소값 검출부(751),
    상기 색상연산부(740)에서 연산된 색상(Hue)값의 평균값 계산부(752), 상기 최대값, 최소값 또는 평균값에 일정 마진폭을 부여하는 일정 마진폭 부여부(753),
    상기 최대값, 최소값 또는 평균값과 일정 마진폭에 따라 얼굴후보영역 또는 피부영역을 검출하는 영역검출부(754)를 포함하는 것을 특징으로 하는 컬러용 증명사진의 얼굴영역 검색장치
KR1020120070978A 2012-06-29 2012-06-29 컬러 증명용 사진의 얼굴후보영역 또는 피부영역 검색 방법 KR101308656B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120070978A KR101308656B1 (ko) 2012-06-29 2012-06-29 컬러 증명용 사진의 얼굴후보영역 또는 피부영역 검색 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120070978A KR101308656B1 (ko) 2012-06-29 2012-06-29 컬러 증명용 사진의 얼굴후보영역 또는 피부영역 검색 방법

Publications (1)

Publication Number Publication Date
KR101308656B1 true KR101308656B1 (ko) 2013-09-13

Family

ID=49456152

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120070978A KR101308656B1 (ko) 2012-06-29 2012-06-29 컬러 증명용 사진의 얼굴후보영역 또는 피부영역 검색 방법

Country Status (1)

Country Link
KR (1) KR101308656B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002369020A (ja) 2001-06-07 2002-12-20 Noritsu Koki Co Ltd 写真画像処理装置、方法及び写真処理装置
JP2003248823A (ja) 2002-02-26 2003-09-05 Casio Comput Co Ltd 顔領域抽出方法、顔領域抽出装置、及びプログラム
JP2006012172A (ja) 2004-06-23 2006-01-12 Seiko Epson Corp 写真をカリカチュア画像に変換するための方法および装置
KR20060012777A (ko) * 2004-08-04 2006-02-09 삼성전자주식회사 피부색 및 패턴 매칭을 이용한 얼굴 검출 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002369020A (ja) 2001-06-07 2002-12-20 Noritsu Koki Co Ltd 写真画像処理装置、方法及び写真処理装置
JP2003248823A (ja) 2002-02-26 2003-09-05 Casio Comput Co Ltd 顔領域抽出方法、顔領域抽出装置、及びプログラム
JP2006012172A (ja) 2004-06-23 2006-01-12 Seiko Epson Corp 写真をカリカチュア画像に変換するための方法および装置
KR20060012777A (ko) * 2004-08-04 2006-02-09 삼성전자주식회사 피부색 및 패턴 매칭을 이용한 얼굴 검출 방법

Similar Documents

Publication Publication Date Title
US8385638B2 (en) Detecting skin tone in images
US9495754B2 (en) Person clothing feature extraction device, person search device, and processing method thereof
CN105339951B (zh) 用于检测文档边界的方法
EP1271403B1 (en) Method and device for character location in images from digital camera
JP5401695B2 (ja) 画像識別装置、画像識別方法、画像識別プログラム及び記録媒体
JP6528723B2 (ja) 物体認識装置、物体認識方法及びプログラム
Ren et al. Fusion of intensity and inter-component chromatic difference for effective and robust colour edge detection
US9633284B2 (en) Image processing apparatus and image processing method of identifying object in image
WO2015007168A1 (en) Character recognition method and device
US10079974B2 (en) Image processing apparatus, method, and medium for extracting feature amount of image
Takayama et al. Face detection and face recognition of cartoon characters using feature extraction
US20130170756A1 (en) Edge detection apparatus, program and method for edge detection
Qiao et al. Bird species recognition based on SVM classifier and decision tree
KR102098819B1 (ko) 아날로그 계량기의 무선 원격 검침 방법 및 장치
KR102503872B1 (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
JP4625949B2 (ja) 物体追跡方法および物体追跡装置ならびにプログラム
JP5027201B2 (ja) テロップ文字領域検出方法，テロップ文字領域検出装置およびテロップ文字領域検出プログラム
JP3962517B2 (ja) 顔面検出方法及びその装置、コンピュータ可読媒体
JPH08138024A (ja) 画像の向き判定方法
RU2329535C2 (ru) Способ автоматического кадрирования фотографий
KR101308656B1 (ko) 컬러 증명용 사진의 얼굴후보영역 또는 피부영역 검색 방법
KR101667877B1 (ko) 물고기 영상의 특징 정보 추출 방법 및 물고기 영상의 특징 정보를 이용한 물고기 식별 방법
KR101012729B1 (ko) 마커를 이용한 문자열 추출 시스템 및 그 방법
CN113095147A (zh) 皮肤区域检测方法、***、图像处理终端和存储介质
Alzubaydi et al. Face Clip Detection System Using HSV Color Model

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160902

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170904

Year of fee payment: 5