KR101491832B1 - 영상 선택 장치 및 방법 - Google Patents

영상 선택 장치 및 방법 Download PDF

Info

Publication number
KR101491832B1
KR101491832B1 KR20140062395A KR20140062395A KR101491832B1 KR 101491832 B1 KR101491832 B1 KR 101491832B1 KR 20140062395 A KR20140062395 A KR 20140062395A KR 20140062395 A KR20140062395 A KR 20140062395A KR 101491832 B1 KR101491832 B1 KR 101491832B1
Authority
KR
South Korea
Prior art keywords
face
region
image
face image
similarity
Prior art date
Application number
KR20140062395A
Other languages
English (en)
Inventor
박강령
김영곤
홍형길
이원오
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR20140062395A priority Critical patent/KR101491832B1/ko
Application granted granted Critical
Publication of KR101491832B1 publication Critical patent/KR101491832B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/162Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758Involving statistics of pixels or of feature values, e.g. histogram matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

영상 선택 장치 및 방법이 개시된다. 영상 선택 장치는 복수의 얼굴 영상을 입력받는 입력부, 얼굴 영상에서 얼굴 박스 영역을 검출하고, 검출된 얼굴 박스 영역에서 관심 영역(ROI: Region of Interest)에 해당하는 얼굴 영역을 선택하고, 선택된 얼굴 영역에서 좌우측 눈을 검출하는 검출부, 선택된 얼굴 영역을 중앙 수직선을 기준으로 좌우측 얼굴 영역으로 분리하고, 분리한 좌우측 얼굴 영역 중 하나를 중앙 수직선을 기준으로 대칭 변환시키는 분리부, 좌측 얼굴 영역 및 우측 얼굴 영역의 히스토그램 특징 벡터 및 픽셀값들의 평균을 추출하는 특징 추출부, 얼굴 영상의 회전 유무 판단을 위하여, 히스토그램 특징 벡터, 픽셀값들의 평균, 얼굴 영역의 픽셀, 검출된 좌우측 눈 중 적어도 둘을 이용하여 좌우측 얼굴 영역간의 복수의 유사도값을 산출하는 유사도 산출부, 복수의 유사도값을 퍼지 논리(Fuzzy Logic)에 입력하여 산출된 출력값으로 얼굴 영상의 유사 점수를 산출하는 점수 산출부 및 유사 점수를 이용하여 복수의 얼굴 영상 중에서 비회전 얼굴 영상을 선택하는 선택부를 포함한다.

Description

영상 선택 장치 및 방법{Apparatus and method for selecting image}
본 발명은 영상인식 기술에 관한 것으로서, 보다 상세하게는 영상 선택 장치 및 방법에 관한 것이다.
기존의 사용자 인증을 위한 시스템에 적용되는 생체 인식 기술은 사람의 신체에서 식별이 가능한 고유 생체 특징 정보를 이용한 방법이 많이 사용된다. 특히, 얼굴 인식 기술은 사람의 신원을 확인하기 위한 가장 보편적으로 사용되는 생체 인식 기술 중 하나로, 최근 스마트폰의 발달로 비밀번호나 공인인증서를 통한 본인 인증 시 사용된다. 그런데, 이때 사용되는 얼굴 인식 기술은, 사람의 머리 모양 및 얼굴의 포즈에 의하여 검출된 얼굴 영역의 회전 변화 등이 발생함에 따라 얼굴 인식 성능이 저하되는 문제점이 있었다.
본 발명은 얼굴 영상을 이용한 얼굴 인식 시, 얼굴 인식 성능을 향상시키기 위하여 복수의 얼굴 영상에서 얼굴 영상의 회전여부를 판단하여 비회전된 얼굴 영상을 선택하는 것이다.
본 발명의 일 측면에 따르면, 영상 선택 장치가 개시된다.
본 발명의 실시예에 따른 영상 선택 장치는 복수의 얼굴 영상을 입력받는 입력부, 상기 얼굴 영상에서 얼굴 박스 영역을 검출하고, 상기 검출된 얼굴 박스 영역에서 관심 영역(ROI: Region of Interest)에 해당하는 얼굴 영역을 선택하고, 상기 선택된 얼굴 영역에서 좌우측 눈을 검출하는 검출부, 상기 선택된 얼굴 영역을 중앙 수직선을 기준으로 좌우측 얼굴 영역으로 분리하고, 상기 분리한 좌우측 얼굴 영역 중 하나를 중앙 수직선을 기준으로 대칭 변환시키는 분리부, 상기 좌측 얼굴 영역 및 상기 우측 얼굴 영역의 히스토그램 특징 벡터 및 픽셀값들의 평균을 추출하는 특징 추출부, 상기 얼굴 영상의 회전 유무 판단을 위하여, 상기 히스토그램 특징 벡터, 상기 픽셀값들의 평균, 상기 얼굴 영역의 픽셀, 상기 검출된 좌우측 눈 중 적어도 둘을 이용하여 상기 좌우측 얼굴 영역간의 복수의 유사도값을 산출하는 유사도 산출부, 상기 복수의 유사도값을 퍼지 논리(Fuzzy Logic)에 입력하여 산출된 출력값으로 상기 얼굴 영상의 유사 점수를 산출하는 점수 산출부 및 상기 유사 점수를 이용하여 상기 복수의 얼굴 영상 중에서 비회전 얼굴 영상을 선택하는 선택부를 포함한다.
상기 검출부는 상기 얼굴 박스 영역에서 대칭성을 판단하는데 방해가 되는 정보들을 제거한 상기 관심 영역을 적용하여 상기 얼굴 영역을 선택한다.
상기 특징 추출부는 상기 얼굴 영역을 하나 이상의 미리 지정된 크기의 블록으로 분할하고, 각 블록에 대해 LBP(Local Binary Pattern) 방식을 적용하여 히스토그램 특징 벡터를 추출하고, 각 히스토그램 특징 벡터를 결합한다.
상기 유사도 산출부는 상기 좌우측 얼굴 영역에서 각각 추출된 히스토그램 특징 벡터간 거리, 상기 좌우측 얼굴 영역에서 각각 추출된 픽셀값들의 평균의 차이, 상기 좌우측 얼굴 영역의 픽셀 차이, 상기 검출된 좌우측 눈을 잇는 선분과 중앙 수직선이 이루는 각도 중 적어도 둘을 산출하여 상기 복수의 유사도값을 산출한다.
상기 복수의 유사도값은 상기 퍼지 논리에 적용하기 위하여 0에서 1사이로 정규화된다.
상기 히스토그램 특징 벡터간 거리가 작을수록 상기 얼굴 영상은 비회전 얼굴 영상에 근접한다.
상기 픽셀값들의 평균의 차이가 작을수록 상기 얼굴 영상은 비회전 얼굴 영상에 근접한다.
상기 픽셀 차이가 작을수록 상기 얼굴 영상은 비회전 얼굴 영상에 근접한다.
상기 각도가 90도에 근접할수록 상기 얼굴 영상은 비회전 얼굴 영상에 근접한다.
본 발명의 다른 측면에 따르면, 복수의 얼굴 영상으로 얼굴 인식을 수행하기 위하여 영상 선택 장치가 수행하는 영상 선택 방법이 개시된다.
본 발명의 실시예에 따른 영상 선택 방법은 복수의 얼굴 영상을 입력받는 단계, 상기 얼굴 영상에서 얼굴 박스 영역을 검출하는 단계, 상기 검출된 얼굴 박스 영역에서 관심 영역(ROI: Region of Interest)에 해당하는 얼굴 영역을 선택하는 단계, 상기 선택된 얼굴 영역에서 좌우측 눈을 검출하는 단계, 상기 선택된 얼굴 영역을 중앙 수직선을 기준으로 좌우측 얼굴 영역으로 분리하는 단계, 상기 분리한 좌우측 얼굴 영역 중 하나를 중앙 수직선을 기준으로 대칭 변환시키는 단계, 상기 좌측 얼굴 영역 및 상기 우측 얼굴 영역의 히스토그램 특징 벡터 및 픽셀값들의 평균을 추출하는 단계, 상기 얼굴 영상의 회전 유무 판단을 위하여, 상기 히스토그램 특징 벡터, 상기 픽셀값들의 평균, 상기 얼굴 영역의 픽셀, 상기 검출된 좌우측 눈 중 적어도 둘을 이용하여 상기 좌우측 얼굴 영역간의 복수의 유사도값을 산출하는 단계, 상기 복수의 유사도값을 퍼지 논리(Fuzzy Logic)에 입력하여 산출된 출력값으로 상기 얼굴 영상의 유사 점수를 산출하는 단계 및 상기 유사 점수를 이용하여 상기 복수의 얼굴 영상 중에서 비회전 얼굴 영상을 선택하는 단계를 포함한다.
상기 얼굴 영역을 선택하는 단계는, 상기 얼굴 박스 영역에서 대칭성을 판단하는데 방해가 되는 정보들을 제거한 상기 관심 영역을 적용하여 상기 얼굴 영역을 선택하는 단계를 포함한다.
상기 히스토그램 특징 벡터 및 픽셀값들의 평균을 추출하는 단계는, 상기 얼굴 영역을 하나 이상의 미리 지정된 크기의 블록으로 분할하는 단계 및 각 블록에 대해 LBP(Local Binary Pattern) 방식을 적용하여 히스토그램 특징 벡터를 추출하고, 각 히스토그램 특징 벡터를 결합하는 단계를 포함한다.
복수의 유사도값을 산출하는 단계는, 상기 좌우측 얼굴 영역에서 각각 추출된 히스토그램 특징 벡터간 거리, 상기 좌우측 얼굴 영역에서 각각 추출된 픽셀값들의 평균의 차이, 상기 좌우측 얼굴 영역의 픽셀 차이, 상기 검출된 좌우측 눈을 잇는 선분과 중앙 수직선이 이루는 각도 중 적어도 둘을 산출하여 상기 복수의 유사도값을 산출한다.
상기 복수의 유사도값은 상기 퍼지 논리에 적용하기 위하여 0에서 1사이로 정규화된다.
상기 히스토그램 특징 벡터간 거리가 작을수록 상기 얼굴 영상은 비회전 얼굴 영상에 근접한다.
상기 픽셀값들의 평균의 차이가 작을수록 상기 얼굴 영상은 비회전 얼굴 영상에 근접한다.
상기 픽셀 차이가 작을수록 상기 얼굴 영상은 비회전 얼굴 영상에 근접한다.
상기 각도가 90도에 근접할수록 상기 얼굴 영상은 비회전 얼굴 영상에 근접한다.
본 발명은 복수의 얼굴 영상에서 얼굴 영상의 회전여부를 판단하여 비회전된 얼굴 영상을 선택함으로써, 얼굴 영상을 이용한 얼굴 인식 시, 얼굴 인식 성능을 향상시킬 수 있다.
도 1은 영상 선택 장치의 구성을 개략적으로 예시한 도면.
도 2는 도 1의 영상 선택 장치가 수행하는 영상 선택 방법을 나타낸 흐름도.
도 3은 검출된 얼굴 박스 영역을 예시한 도면.
도 4는 얼굴 박스 영역에 관심 영역을 적용한 것을 예시한 도면.
도 5는 얼굴 영역의 대칭성 판단 과정을 예시한 도면.
도 6은 검출된 좌우측 눈을 이용한 유사도 산출을 예시한 도면.
도 7은 퍼지 논리에 따른 설정도를 예시한 도면.
도 8은 복수의 얼굴 영상 중에서 비회전 얼굴 영상을 획득하는 과정을 나타낸 개념도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면 번호에 상관없이 동일한 수단에 대해서는 동일한 참조 번호를 사용하기로 한다.
도 1은 영상 선택 장치의 구성을 개략적으로 예시한 도면이다.
도 1을 참조하면, 영상 선택 장치는 입력부(10), 검출부(20), 분리부(30), 특징 추출부(40), 유사도 산출부(50), 점수 산출부(60) 및 선택부(70)를 포함한다.
입력부(10)는 복수의 얼굴 영상을 입력받는다.
검출부(20)는 얼굴 영상에서 얼굴 박스 영역을 검출하고, 검출된 얼굴 박스 영역에서 관심 영역(ROI: Region of Interest)에 해당하는 얼굴 영역을 선택하고, 선택된 얼굴 영역에서 좌우측 눈을 검출한다.
여기서, 얼굴 박스 영역은 얼굴 영상 중 얼굴이라 추정되는 직사각형의 영역을 의미한다. 예를 들어, 검출부(20)는 Adaboost 얼굴 검출 방법을 이용하여 얼굴 박스 영역을 검출할 수 있다. 도 3을 참조하면, 도 3은 검출된 얼굴 박스 영역을 예시한 도면이다. 도 3에 도시된 바와 같이, 검출된 얼굴 박스 영역은 비회전된 얼굴 박스 영역(210)과 회전된 얼굴 박스 영역(220, 230)으로 구분될 수 있다. 여기서, 회전(In-plane Rotation)은 얼굴이 좌우나 상하로 회전하는 것이 아니라, 얼굴의 코를 중심으로 얼굴 정면이 시계 또는 반시계 방향으로 회전하는 것을 의미한다.
그리고, 도 4를 참조하면, 도 4는 얼굴 박스 영역에 관심 영역을 적용한 것을 예시한 도면이다. 도 4에 도시된 바와 같이, 검출부(20)는 검출된 얼굴 박스 영역(310)에서 배경(330)이 포함된 턱 부분이나 머리카락, 귀 등과 같이 대칭성을 판단하는데 방해가 되는 정보들을 제거한 관심 영역을 적용하여 얼굴 영역(320)을 선택할 수 있다.
그리고, 검출부(20)는 선택한 얼굴 영역 내에서 Adaboost 눈 검출을 적용하여 좌우측 눈을 검출할 수 있다. Adaboost 검출 방법은 얼굴, 코, 눈, 손, 발, 귀 등 다양한 신체의 부위를 찾는데 사용하는 알고리즘이다.
분리부(30)는 얼굴 영역을 중앙 수직선을 기준으로 좌우측 얼굴 영역으로 분리하고, 분리한 좌우측 얼굴 영역 중 하나를 중앙 수직선을 기준으로 대칭 변환시킨다. 예를 들어, 다시 도 4를 참조하면, 분리부(30)는 얼굴 영역의 대칭성 판단을 위하여, 얼굴 영역(320)을 중앙 수직선을 기준으로 좌측 얼굴 영역(340)과 우측 얼굴 영역(360)으로 분리할 수 있다. 그리고, 도 5를 참조하면, 도 5는 얼굴 영역의 대칭성 판단 과정을 예시한 도면이다. 도 5에 도시된 바와 같이, 분리부(30)는 우측 얼굴 영역(350)을 중앙 수직선을 기준으로 대칭 변화시킴으로써, 좌측 얼굴 영역(340)과 우측 얼굴 영역(360)을 유사하게 만들 수 있다.
특징 추출부(40)는 각 얼굴 영역의 히스토그램 특징 벡터 및 픽셀값들의 평균을 추출한다. 즉, 특징 추출부(40)는 얼굴 영역을 하나 이상의 미리 지정된 크기의 블록으로 분할하고, 각 블록에 대해 LBP(Local Binary Pattern) 방식을 적용하여 히스토그램 특징 벡터를 추출하고, 각 히스토그램 특징 벡터를 결합한다. 그리고, 특징 추출부(40)는 얼굴 영역의 픽셀값들 또는 얼굴 영역의 픽셀들의 밝기값을 추출하여 이로부터 평균을 산출할 수 있다.
유사도 산출부(50)는 얼굴 영상의 회전 유무 판단을 위하여, 검출된 특징을 이용하여 좌우측 얼굴 영역간의 유사도값을 산출한다. 즉, 유사도 산출부(50)는 좌우측 얼굴 영역에서 각각 추출된 히스토그램 특징 벡터간 거리, 좌우측 얼굴 영역에서 각각 추출된 픽셀값들의 평균의 차이, 좌우측 얼굴 영역의 픽셀 차이, 검출된 좌우측 눈을 잇는 선분과 중앙 수직선이 이루는 각도 중 적어도 둘을 산출하여 복수의 유사도값을 산출한다. 여기서, 산출되는 유사도값들은 퍼지 논리(Fuzzy Logic)에 적용하기 위하여 0에서 1사이로 정규화된다. 이때, 유사도값의 정규화는 유사도값의 최대값 또는 최소값을 이용하여 수행된다. 예를 들어, 유사도값이 작을수록 좌우측 얼굴 영역의 차이가 적으므로, 유사도값이 최소가 될수록 해당 얼굴 영상은 비회전 얼굴 영상에 근접할 수 있다. 그래서, 유사도값의 최소값을 기준으로 유사도값의 정규화가 수행될 수 있다. 따라서, 정규화된 유사도값이 0에 근접할수록 해당 얼굴 영상은 비회전 얼굴 영상으로 판단될 수 있고, 반대로, 정규화된 유사도값이 1에 근접할수록 해당 얼굴 영상은 회전 얼굴 영상으로 판단될 수 있다.
유사도 산출부(50)는 도 5에 도시된 바와 같이, 좌우측 얼굴 영역에서 각각 추출된 히스토그램 특징 벡터간 거리를 유사도값으로 산출할 수 있다. 예를 들어, 다시 도 3을 참조하면, 회전된 얼굴 박스 영역(220, 230)은 좌우측 얼굴 영역의 유사도를 찾기 힘들기 때문에 히스토그램 특징 벡터간 거리가 클 수밖에 없으며, 비회전된 얼굴 박스 영역(210)은 좌우측 얼굴 영역이 유사하므로 히스토그램 특징 벡터간 거리가 작을 수 밖에 없다. 여기서, 히스토그램 특징 벡터간 거리는 Chi-Square distance, Bhattacharyya distance 등을 이용하여 산출될 수 있다.
그리고, 유사도 산출부(50)는 좌우측 얼굴 영역에서 각각 추출된 픽셀값들의 평균을 비교하여 픽셀값들의 평균의 차이를 유사도값으로 산출할 수 있다. 차이가 작을수록 해당 얼굴 영상은 비회전 얼굴 영상에 근접할 수 있다.
그리고, 유사도 산출부(50)는 좌우측 얼굴 영역의 픽셀 차이를 비교하여 픽셀 차이를 유사도값으로 산출할 수 있다. 차이가 작을수록 해당 얼굴 영상은 비회전 얼굴 영상에 근접할 수 있다.
그리고, 유사도 산출부(50)는 도 6에 도시된 바와 같이, 검출된 좌우측 눈을 잇는 선분과 중앙 수직선이 이루는 각도(510)를 유사도값으로 산출할 수 있다. 여기서, 도 6은 검출된 좌우측 눈을 이용한 유사도 산출을 예시한 도면이다. 도 6을 참조하면, 각도(510)가 90도에 근접할수록 해당 얼굴 영상은 비회전 얼굴 영상에 근접할 수 있다. 이때, 각도(510)로 산출된 유사도값은 퍼지 논리의 입력값 형식을 통일하기 위하여, 90도-θ 형식으로 변환된 후, 0에서 1사이로 정규화될 수 있다. 여기서, θ는 좌우측 눈을 잇는 선분과 중앙 수직선이 이루는 각도(510)이다.
점수 산출부(60)는 퍼지 논리를 이용하여 각 얼굴 영상의 유사 점수를 산출한다. 즉, 점수 산출부(40)는 퍼지 논리(Fuzzy Logic)에 복수의 유사도값을 입력하여 산출된 출력값으로 각 얼굴 영상의 유사 점수를 산출한다. 여기서, 유사 점수는 설정된 범위에 기초하여 비결정적인 확률 집합을 이용하여 결정된다.
도 7은 퍼지 논리에 따른 설정도를 예시한 도면이다. 이하, 도 7을 참조하여, 퍼지 논리에 따른 설정 범위 및 설정도에 대하여 설명하기로 한다.
설정도는 입력 및 출력이 가지는 설정 범위를 나타낸다. 예를 들어, 도 7에 도시된 바와 같이 설정하는 경우, 입력은 "작음", "큼"으로 구성되는 2단계의 설정도, 출력은 "작음", "보통", "큼"으로 구성되는 3 단계의 설정도를 가질 수 있다. 입력이 2개일 때, "작음", "큼"의 설정 범위를 가진다고 가정하면, 입력1이 0.2, 입력2가 0.8인 경우, 입력1은 "작음, 0.8", "큼, 0.2"로, 입력2는 "큼, 0.8", "작음, 0.2"로 된 설정도를 가진다. 설정된 입력1의 설정도와 입력2의 설정도에 기초하여, {"작음, 0.8", "큼, 0.8"}, {"작음, 0.8", "작음, 0.2"}, {"큼, 0.2", "큼, 0.8"}, {"큼, 0.2", "작음, 0.2"}으로 총 4개의 묶음으로 설정도가 정해진다.
점수 산출부(60)는 복수의 입력 중 낮은 설정도를 기준으로 미리 설정된 퍼지 논리 테이블에 따라 해당 얼굴 영상의 유사 점수를 산출할 수 있다. 예를 들어, 퍼지 논리 테이블은 다음 표 1과 같이 나타낼 수 있다.
입력1 입력2 입력3 입력4 출력
작음 작음 작음 작음 작음
작음
작음 작음
보통
작음 작음 작음
보통
작음 보통
작음 작음 작음 작음
보통
작음 보통
작음 작음 보통
작음
표 1에 따르면, 입력 1 내지 입력 4가 모두 "작음"일 경우, 출력은 "작음"으로 지정될 수 있다.
예를 들어, 퍼지 논리에 복수개의 입력을 적용하는 경우, IF-THEN 규칙이 사용될 수 있다. 여기서, IF-THEN 규칙은 입력들간의 관계를 고려하여 출력 범위를 지정하는 방식으로, AND 연산과 OR 연산으로 나뉠 수 있다. AND 연산은 "입력1이 X이고 입력 2가 Y인 경우, 출력값의 범위는 Z이다"와 같은 연산을 수행하는 것이고, OR 연산은 "입력1이 X이거나 입력2가 Y인 경우, 출력값의 범위는 Z이다"와 같은 연산을 수행하는 것이다. 본 명세서에서는 AND 연산을 적용하기로 한다. 예를 들어, 4개의 입력을 이용하는 경우, 복수개의 입력 묶음은 16개이고, 이에 따라 출력값이 결정될 수 있다. 출력값의 결정은 각각의 묶음에서, 4개의 입력값 중 작은 값을 선택하는 MIN 방법이 이용된다. 최종적으로, 16개의 입력 묶음으로부터 최종적인 결과값을 추론하기 위한 비퍼지화 방법으로, Center of gravity, first of maximum, last of maximum, middle of maximum 또는 mean of maxima의 방법 중 어느 하나가 선택적으로 사용될 수 있다. 선택된 방법으로 비퍼지화됨으로써 유사 점수가 산출될 수 있다.
선택부(50)는 각 얼굴 영상의 유사 점수를 이용하여 복수의 얼굴 영상 중에서 비회전 얼굴 영상을 선택한다. 예를 들어, 도 8은 복수의 얼굴 영상 중에서 비회전 얼굴 영상을 획득하는 과정을 나타낸 개념도이다. 도 8을 참조하면, 선택부(50)는 각 얼굴 영상의 유사 점수를 이용하여 각 얼굴 영상의 가중치를 산출할 수 있으며, 다음의 수학식을 이용하여 가중치를 산출할 수 있다.
[수학식 1]
Figure 112014048848089-pat00001
여기서, x는 M개의 얼굴 영상에서 임의의 x번째 얼굴영상을 나타낸다.
도 8을 참조하면, 첫 번째 얼굴 영상의 가중치가 0.5, 두 번째 얼굴 영상의 가중치가 0.3, 세 번째 얼굴 영상의 가중치가 0.1로 산출된다고 가정하면, 얼굴 인식결과에 따른 매칭 점수에 산출된 가중치가 곱해져 비회전 얼굴 영상이 선택될 수 있다.
도 2는 도 1의 영상 선택 장치가 수행하는 영상 선택 방법을 나타낸 흐름도이다.
S211 단계에서, 영상 선택 장치는 복수의 얼굴 영상을 입력받는다.
S212 단계에서, 영상 선택 장치는 얼굴 영상에서 얼굴 박스 영역을 검출한다.
S213 단계에서, 영상 선택 장치는 검출된 얼굴 박스 영역에서 관심 영역(ROI: Region of Interest)에 해당하는 얼굴 영역을 선택한다.
S214 단계에서, 영상 선택 장치는 선택된 얼굴 영역에서 좌우측 눈을 검출한다.
S215 단계에서, 영상 선택 장치는 얼굴 영역을 중앙 수직선을 기준으로 좌우측 얼굴 영역으로 분리한다.
S216 단계에서, 영상 선택 장치는 분리한 좌우측 얼굴 영역 중 하나를 중앙 수직선을 기준으로 대칭 변환시킨다.
S217 단계에서, 영상 선택 장치는 각 얼굴 영역의 히스토그램 특징 벡터 및 픽셀값들의 평균을 추출한다. 즉, 영상 선택 장치는 얼굴 영역을 하나 이상의 미리 지정된 크기의 블록으로 분할하고, 각 블록에 대해 LBP(Local Binary Pattern) 방식을 적용하여 히스토그램 특징 벡터를 추출하고, 각 히스토그램 특징 벡터를 결합한다. 그리고, 영상 선택 장치는 얼굴 영역의 픽셀값들 또는 얼굴 영역의 픽셀들의 밝기값을 추출하여 이로부터 평균을 산출할 수 있다.
S218 단계에서, 영상 선택 장치는 얼굴 영상의 회전 유무 판단을 위하여, 검출된 특징을 이용하여 좌우측 얼굴 영역간의 유사도값을 산출한다. 즉, 영상 선택 장치는 좌우측 얼굴 영역에서 각각 추출된 히스토그램 특징 벡터간 거리, 좌우측 얼굴 영역에서 각각 추출된 픽셀값들의 평균의 차이, 좌우측 얼굴 영역의 픽셀 차이, 검출된 좌우측 눈을 잇는 선분과 중앙 수직선이 이루는 각도를 산출하여 복수의 유사도값을 산출한다. 여기서, 산출되는 유사도값들은 퍼지 논리(Fuzzy Logic)에 적용하기 위하여 0에서 1사이로 정규화된다. 이때, 유사도값의 정규화는 유사도값의 최대값 또는 최소값을 이용하여 수행된다. 예를 들어, 유사도값이 작을수록 좌우측 얼굴 영역의 차이가 적으므로, 유사도값이 최소가 될수록 해당 얼굴 영상은 비회전 얼굴 영상에 근접할 수 있다. 그래서, 유사도값의 최소값을 기준으로 유사도값의 정규화가 수행될 수 있다. 따라서, 정규화된 유사도값이 0에 근접할수록 해당 얼굴 영상은 비회전 얼굴 영상으로 판단될 수 있고, 반대로, 정규화된 유사도값이 1에 근접할수록 해당 얼굴 영상은 회전 얼굴 영상으로 판단될 수 있다.
S219 단계에서, 영상 선택 장치는 퍼지 논리를 이용하여 각 얼굴 영상의 유사 점수를 산출한다. 즉, 영상 선택 장치는 퍼지 논리(Fuzzy Logic)에 복수의 유사도값을 입력하여 산출된 출력값으로 각 얼굴 영상의 유사 점수를 산출한다. 여기서, 유사 점수는 설정된 범위에 기초하여 비결정적인 확률 집합을 이용하여 결정된다.
S220 단계에서, 영상 선택 장치는 각 얼굴 영상의 유사 점수를 이용하여 복수의 얼굴 영상 중에서 비회전 얼굴 영상을 선택한다.
한편, 본 발명의 실시예에 따른 영상 선택 방법은 다양한 전자적으로 정보를 처리하는 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 저장 매체에 기록될 수 있다. 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조등을 단독으로 또는 조합하여 포함할 수 있다.
저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 입력부
20: 검출부
30: 분리부
40: 특징 추출부
50: 유사도 산출부
60: 점수 산출부
70: 선택부

Claims (18)

  1. 복수의 얼굴 영상을 입력받는 입력부;
    상기 얼굴 영상에서 얼굴 박스 영역을 검출하고, 상기 검출된 얼굴 박스 영역에서 관심 영역(ROI: Region of Interest)에 해당하는 얼굴 영역을 선택하고, 상기 선택된 얼굴 영역에서 좌우측 눈을 검출하는 검출부;
    상기 선택된 얼굴 영역을 중앙 수직선을 기준으로 좌우측 얼굴 영역으로 분리하고, 상기 분리한 좌우측 얼굴 영역 중 하나를 중앙 수직선을 기준으로 대칭 변환시키는 분리부;
    상기 좌측 얼굴 영역 및 상기 우측 얼굴 영역의 히스토그램 특징 벡터 및 픽셀값들의 평균을 추출하는 특징 추출부;
    상기 얼굴 영상의 회전 유무 판단을 위하여, 상기 히스토그램 특징 벡터, 상기 픽셀값들의 평균, 상기 얼굴 영역의 픽셀, 상기 검출된 좌우측 눈 중 적어도 둘을 이용하여 상기 좌우측 얼굴 영역간의 복수의 유사도값을 산출하는 유사도 산출부;
    상기 복수의 유사도값을 퍼지 논리(Fuzzy Logic)에 입력하여 산출된 출력값으로 상기 얼굴 영상의 유사 점수를 산출하는 점수 산출부; 및
    상기 유사 점수를 이용하여 상기 복수의 얼굴 영상 중에서 비회전 얼굴 영상을 선택하는 선택부를 포함하는 영상 선택 장치.
  2. 제1항에 있어서,
    상기 검출부는 상기 얼굴 박스 영역에서 대칭성을 판단하는데 방해가 되는 정보들을 제거한 상기 관심 영역을 적용하여 상기 얼굴 영역을 선택하는 것을 특징으로 하는 영상 선택 장치.
  3. 제1항에 있어서,
    상기 특징 추출부는 상기 얼굴 영역을 하나 이상의 미리 지정된 크기의 블록으로 분할하고, 각 블록에 대해 LBP(Local Binary Pattern) 방식을 적용하여 히스토그램 특징 벡터를 추출하고, 각 히스토그램 특징 벡터를 결합하는 것을 특징으로 하는 영상 선택 장치.
  4. 제1항에 있어서,
    상기 유사도 산출부는 상기 좌우측 얼굴 영역에서 각각 추출된 히스토그램 특징 벡터간 거리, 상기 좌우측 얼굴 영역에서 각각 추출된 픽셀값들의 평균의 차이, 상기 좌우측 얼굴 영역의 픽셀 차이, 상기 검출된 좌우측 눈을 잇는 선분과 중앙 수직선이 이루는 각도 중 적어도 둘을 산출하여 상기 복수의 유사도값을 산출하는 것을 특징으로 하는 영상 선택 장치.
  5. 제4항에 있어서,
    상기 복수의 유사도값은 상기 퍼지 논리에 적용하기 위하여 0에서 1사이로 정규화되는 것을 특징으로 하는 영상 선택 장치.
  6. 제4항에 있어서,
    상기 히스토그램 특징 벡터간 거리가 작을수록 상기 얼굴 영상은 비회전 얼굴 영상에 근접하는 것을 특징으로 하는 영상 선택 장치.
  7. 제4항에 있어서,
    상기 픽셀값들의 평균의 차이가 작을수록 상기 얼굴 영상은 비회전 얼굴 영상에 근접하는 것을 특징으로 하는 영상 선택 장치.
  8. 제4항에 있어서,
    상기 픽셀 차이가 작을수록 상기 얼굴 영상은 비회전 얼굴 영상에 근접하는 것을 특징으로 하는 영상 선택 장치.
  9. 제4항에 있어서,
    상기 각도가 90도에 근접할수록 상기 얼굴 영상은 비회전 얼굴 영상에 근접하는 것을 특징으로 하는 영상 선택 장치.
  10. 복수의 얼굴 영상으로 얼굴 인식을 수행하기 위하여 영상 선택 장치가 수행하는 영상 선택 방법에 있어서,
    복수의 얼굴 영상을 입력받는 단계;
    상기 얼굴 영상에서 얼굴 박스 영역을 검출하는 단계;
    상기 검출된 얼굴 박스 영역에서 관심 영역(ROI: Region of Interest)에 해당하는 얼굴 영역을 선택하는 단계;
    상기 선택된 얼굴 영역에서 좌우측 눈을 검출하는 단계;
    상기 선택된 얼굴 영역을 중앙 수직선을 기준으로 좌우측 얼굴 영역으로 분리하는 단계;
    상기 분리한 좌우측 얼굴 영역 중 하나를 중앙 수직선을 기준으로 대칭 변환시키는 단계;
    상기 좌측 얼굴 영역 및 상기 우측 얼굴 영역의 히스토그램 특징 벡터 및 픽셀값들의 평균을 추출하는 단계;
    상기 얼굴 영상의 회전 유무 판단을 위하여, 상기 히스토그램 특징 벡터, 상기 픽셀값들의 평균, 상기 얼굴 영역의 픽셀, 상기 검출된 좌우측 눈 중 적어도 둘을 이용하여 상기 좌우측 얼굴 영역간의 복수의 유사도값을 산출하는 단계;
    상기 복수의 유사도값을 퍼지 논리(Fuzzy Logic)에 입력하여 산출된 출력값으로 상기 얼굴 영상의 유사 점수를 산출하는 단계; 및
    상기 유사 점수를 이용하여 상기 복수의 얼굴 영상 중에서 비회전 얼굴 영상을 선택하는 단계를 포함하는 영상 선택 방법.
  11. 제10항에 있어서,
    상기 얼굴 영역을 선택하는 단계는,
    상기 얼굴 박스 영역에서 대칭성을 판단하는데 방해가 되는 정보들을 제거한 상기 관심 영역을 적용하여 상기 얼굴 영역을 선택하는 단계를 포함하는 것을 특징으로 하는 영상 선택 방법.
  12. 제10항에 있어서,
    상기 히스토그램 특징 벡터 및 픽셀값들의 평균을 추출하는 단계는,
    상기 얼굴 영역을 하나 이상의 미리 지정된 크기의 블록으로 분할하는 단계; 및
    각 블록에 대해 LBP(Local Binary Pattern) 방식을 적용하여 히스토그램 특징 벡터를 추출하고, 각 히스토그램 특징 벡터를 결합하는 단계를 포함하는 것을 특징으로 하는 영상 선택 방법.
  13. 제10항에 있어서,
    복수의 유사도값을 산출하는 단계는,
    상기 좌우측 얼굴 영역에서 각각 추출된 히스토그램 특징 벡터간 거리, 상기 좌우측 얼굴 영역에서 각각 추출된 픽셀값들의 평균의 차이, 상기 좌우측 얼굴 영역의 픽셀 차이, 상기 검출된 좌우측 눈을 잇는 선분과 중앙 수직선이 이루는 각도 중 적어도 둘을 산출하여 상기 복수의 유사도값을 산출하는 것을 특징으로 하는 영상 선택 방법.
  14. 제13항에 있어서,
    상기 복수의 유사도값은 상기 퍼지 논리에 적용하기 위하여 0에서 1사이로 정규화되는 것을 특징으로 하는 영상 선택 방법.
  15. 제13항에 있어서,
    상기 히스토그램 특징 벡터간 거리가 작을수록 상기 얼굴 영상은 비회전 얼굴 영상에 근접하는 것을 특징으로 하는 영상 선택 방법.
  16. 제13항에 있어서,
    상기 픽셀값들의 평균의 차이가 작을수록 상기 얼굴 영상은 비회전 얼굴 영상에 근접하는 것을 특징으로 하는 영상 선택 방법.
  17. 제13항에 있어서,
    상기 픽셀 차이가 작을수록 상기 얼굴 영상은 비회전 얼굴 영상에 근접하는 것을 특징으로 하는 영상 선택 방법.
  18. 제13항에 있어서,
    상기 각도가 90도에 근접할수록 상기 얼굴 영상은 비회전 얼굴 영상에 근접하는 것을 특징으로 하는 영상 선택 방법.


KR20140062395A 2014-05-23 2014-05-23 영상 선택 장치 및 방법 KR101491832B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20140062395A KR101491832B1 (ko) 2014-05-23 2014-05-23 영상 선택 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20140062395A KR101491832B1 (ko) 2014-05-23 2014-05-23 영상 선택 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101491832B1 true KR101491832B1 (ko) 2015-02-12

Family

ID=52593280

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20140062395A KR101491832B1 (ko) 2014-05-23 2014-05-23 영상 선택 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101491832B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101786579B1 (ko) * 2017-03-22 2017-10-18 (주) 이즈테크놀로지 정면 얼굴 판단 방법 및 장치
CN110363091A (zh) * 2019-06-18 2019-10-22 广州杰赛科技股份有限公司 侧脸情况下的人脸识别方法、装置、设备及存储介质
CN110427843A (zh) * 2019-07-18 2019-11-08 广州利科科技有限公司 一种人脸智能识别方法
CN112102343A (zh) * 2020-08-12 2020-12-18 海南大学 基于超声图像的ptc诊断***
CN113627262A (zh) * 2021-07-13 2021-11-09 深圳力维智联技术有限公司 文字识别方法、装置及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110064117A (ko) * 2009-12-07 2011-06-15 삼성전자주식회사 얼굴 정면포즈 판단 방법
KR101254181B1 (ko) 2012-12-13 2013-04-19 위아코퍼레이션 주식회사 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법
KR20130114893A (ko) * 2012-04-10 2013-10-21 삼성전자주식회사 연속 사진 촬영 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110064117A (ko) * 2009-12-07 2011-06-15 삼성전자주식회사 얼굴 정면포즈 판단 방법
KR20130114893A (ko) * 2012-04-10 2013-10-21 삼성전자주식회사 연속 사진 촬영 장치 및 방법
KR101254181B1 (ko) 2012-12-13 2013-04-19 위아코퍼레이션 주식회사 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101786579B1 (ko) * 2017-03-22 2017-10-18 (주) 이즈테크놀로지 정면 얼굴 판단 방법 및 장치
CN110363091A (zh) * 2019-06-18 2019-10-22 广州杰赛科技股份有限公司 侧脸情况下的人脸识别方法、装置、设备及存储介质
CN110363091B (zh) * 2019-06-18 2021-08-10 广州杰赛科技股份有限公司 侧脸情况下的人脸识别方法、装置、设备及存储介质
CN110427843A (zh) * 2019-07-18 2019-11-08 广州利科科技有限公司 一种人脸智能识别方法
CN110427843B (zh) * 2019-07-18 2021-07-13 广州利科科技有限公司 一种人脸智能识别方法
CN112102343A (zh) * 2020-08-12 2020-12-18 海南大学 基于超声图像的ptc诊断***
CN112102343B (zh) * 2020-08-12 2024-03-29 海南大学 基于超声图像的ptc诊断***
CN113627262A (zh) * 2021-07-13 2021-11-09 深圳力维智联技术有限公司 文字识别方法、装置及设备

Similar Documents

Publication Publication Date Title
US10242249B2 (en) Method and apparatus for extracting facial feature, and method and apparatus for facial recognition
KR102290392B1 (ko) 얼굴 등록 방법 및 장치, 얼굴 인식 방법 및 장치
KR101130817B1 (ko) 얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
US11790494B2 (en) Facial verification method and apparatus based on three-dimensional (3D) image
Pundlik et al. Non-ideal iris segmentation using graph cuts
KR101314293B1 (ko) 조명변화에 강인한 얼굴인식 시스템
US10248845B2 (en) Method and apparatus for facial recognition
KR101491832B1 (ko) 영상 선택 장치 및 방법
US9563821B2 (en) Method, apparatus and computer readable recording medium for detecting a location of a face feature point using an Adaboost learning algorithm
KR101865253B1 (ko) Region-sift와 discriminant svm 분류기를 이용한 나이 및 성별 인식 장치 및 그 방법
KR100950776B1 (ko) 얼굴 인식 방법
KR102286571B1 (ko) 영상에서 다수의 객체를 인식하는 방법
US20140056490A1 (en) Image recognition apparatus, an image recognition method, and a non-transitory computer readable medium thereof
KR101515928B1 (ko) 가변 가중치 결합을 이용하는 얼굴 인식 장치 및 방법
KR101195539B1 (ko) 얼굴 인식 및 검출을 이용한 출입문 개폐 시스템 및 그 방법
Gawande et al. Improving iris recognition accuracy by score based fusion method
KR101727833B1 (ko) 얼굴인식을 위한 판별분석 기반의 복합 특징 벡터 생성 장치 및 방법
EP2998928B1 (en) Apparatus and method for extracting high watermark image from continuously photographed images
KR102225623B1 (ko) 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 시스템 및 방법
JP6338781B2 (ja) 学習装置および学習識別システム
KR102592601B1 (ko) 합성 표정을 이용한 얼굴인식 방법
JP2018036870A (ja) 画像処理装置及びプログラム
KR101306576B1 (ko) 차분 성분을 고려한 조명 변화에 강인한 얼굴 인식 시스템
KR102326185B1 (ko) 딥러닝을 이용한 얼굴 매칭 방법 및 장치
Wijaya et al. Phonographic image recognition using fusion of scale invariant descriptor

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180131

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190201

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200115

Year of fee payment: 6