KR102466215B1 - 딥러닝 기반 비문 인식 시스템 및 방법 - Google Patents
딥러닝 기반 비문 인식 시스템 및 방법 Download PDFInfo
- Publication number
- KR102466215B1 KR102466215B1 KR1020180084266A KR20180084266A KR102466215B1 KR 102466215 B1 KR102466215 B1 KR 102466215B1 KR 1020180084266 A KR1020180084266 A KR 1020180084266A KR 20180084266 A KR20180084266 A KR 20180084266A KR 102466215 B1 KR102466215 B1 KR 102466215B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- feature point
- inscription
- unit
- species
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000013135 deep learning Methods 0.000 title claims abstract description 40
- 238000003909 pattern recognition Methods 0.000 title 1
- 241000894007 species Species 0.000 claims abstract description 113
- 241001465754 Metazoa Species 0.000 claims abstract description 97
- 241000282465 Canis Species 0.000 claims abstract description 51
- 238000007781 pre-processing Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 18
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 abstract description 8
- 241000282472 Canis lupus familiaris Species 0.000 description 38
- 239000000284 extract Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 딥러닝 기반 비문 인식 시스템 및 방법에 관한 것으로서, 개과에 속하는 동물의 얼굴 이미지를 입력하고, 입력된 얼굴 이미지로부터 비문 특징점 이미지를 추출하고, 추출된 비문 특징점 이미지와 제 1 데이터베이스부에 저장된 복수 개의 이미지와 비교를 통해 동물의 세부 종을 판단하고, 판단된 세부 종 결과를 출력할 수 있다. 이를 통해 본 발명은 개과에 속하는 동물의 종, 세부 종 등의 구분을 통해 동물이 버려지는 것을 예방하고, 유기된 동물을 찾을 수 있는 효과를 가진다. 또한 본 발명은 1차 종 판단, 2차 세부 종 판단 모두 딥러닝을 기반으로 종을 판단함으로써, 보다 객관적이면서 정확하고 빠르게 인식할 수 있는 효과를 가진다.
Description
본 발명은 비문 인식에 관한 것으로, 더욱 상세하게는 딥러닝을 기반으로 개과에 속하는 동물의 비문을 인식하여 세부 종을 판단하는 딥러닝 기반 비문 인식 시스템 및 방법에 관한 것이다.
인간은 신분을 검증하고 확인하는 방법으로 생체인증(Biometrics) 분야를 사용하고 있고, 이는 이미 오랜 기간 동안 발전해왔다. 이러한 생체인증 방식으로는 지문인식, 홍채인식, 정맥인식(Vein recognition) 등이 있다.
이와 관련하여 인간의 지문은 사람마다 모두 다르듯이, 개과에 속하는 동물들의 비문(코 무늬)은 동물마다 각각 다르다. 이에 이를 이용하여 동물의 종 확인 또는 주인이 찾고자 하는 동물을 확인할 수 있는 방법은 동물의 체계적인 관리를 가능하게 할 수 있다.
다만 일반적인 사람의 지문인식 방법과, 동물의 비문인식 방법은 구체적인 인식방식 등의 차이가 있기 때문에 이를 위한 새로운 모델을 마련할 필요성이 있다.
이에 본 발명은 상기와 같은 제반 사항을 고려하여 제안된 것으로, 개과에 속하는 동물의 종, 세부 종 등의 구분을 통해 동물이 버려지는 것을 예방하고, 유기된 동물을 찾을 수 있도록 하는 것을 목적으로 한다.
또한 본 발명은 개과에 속하는 각 동물의 비문 특성에 따라 영상 처리에 따른 파라미터를 용이하게 변경함으로써, 각 동물의 비문 특성에 따른 최적화된 이미지 처리를 구현하는 것을 목적으로 한다.
또한 본 발명은 개과에 속하는 동물의 비문에서 망 형태의 이미지를 효과적으로 추출하는 것을 목적으로 한다.
또한 본 발명은 개과에 속하는 동물의 비문으로부터 보다 안정적인 특징점을 추출하는 것을 목적으로 한다.
또한 본 발명은 1차 종 판단, 2차 세부 종 판단을 통해 에러를 최소화하며 구별 모호성을 방지하는 것을 목적으로 한다.
또한 본 발명은 1차 종 판단, 2차 세부 종 판단 모두 딥러닝을 기반으로 종을 판단함으로써, 보다 객관적이면서 정확하고 빠르게 인식하는 것을 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해할 수 있을 것이다.
상기와 같은 목적을 달성하기 위하여 본 발명의 기술적 사상에 의한 딥러닝 기반 비문 인식 시스템은 개과에 속하는 동물의 얼굴 이미지를 입력하는 이미지 입력부, 입력된 얼굴 이미지로부터 비문 특징점 이미지를 추출하는 비문 특징점 이미지 추출부, 추출된 비문 특징점 이미지와 제 1 데이터베이스부에 저장된 복수 개의 이미지와 비교를 통해 동물의 세부 종을 판단하는 세부 종 판단부, 판단된 세부 종 결과를 출력하는 세부 종 결과 출력부를 포함할 수 있다.
이 때 비문 특징점 이미지 추출부는 입력된 얼굴 이미지 중 관심영역(ROI: Region Of Interest)에 해당하는 이미지를 설정한 후, 이를 전처리하는 전처리부, 전처리된 관심영역 이미지를 필터링하여 패턴 값이 추출된 필터 이미지를 출력하는 필터 이미지 출력부, 출력된 필터 이미지로부터 특징점을 추출하여 비문 특징점 이미지를 출력하는 특징점 이미지 출력부를 포함할 수 있다.
특징점 이미지 출력부에서 추출된 특징점은 적어도 하나 이상의 비문 특징점 위치, 스케일 및 방향을 포함할 수 있다.
전처리부는 관심영역 이미지의 설정을 위해 입력된 얼굴 이미지에 적응 임계(Adaptive thresholding) 알고리즘을 적용할 수 있다.
필터 이미지 출력부는 필터 이미지의 출력을 위해 전처리된 관심영역 이미지에 가보 필터(Gabor filter)를 적용할 수 있다.
특징점 이미지 출력부는 특징점의 추출을 위해 출력된 필터 이미지에 시프트 알고리즘(Shift algorithm)을 적용할 수 있다.
세부 종 판단부는 추출된 특징점과 제 1 데이터베이스부에 저장된 복수 개 이미지의 특징점 간 유클리드 거리 값(Euclidean distance, L2-Norm)을 각각 산출하여 비교하는 이미지 비교부, 제 1 데이터베이스부에 저장된 복수 개 이미지의 특징점 중 산출된 유클리드 거리 값이 가장 작은 이미지의 특징점을 매칭 특징점으로 선정하는 매칭 특징점 선정부를 포함할 수 있다.
매칭 특징점 선정부는 선정된 매칭 특징점 외에 산출된 유클리드 거리 값이 작은 순으로 매칭 특징점을 추가로 더 선정한 후, 다음 수학식으로 정의되는 매칭 판단식을 이용하여 선정된 매칭 특징점의 매칭 신뢰도를 판단할 수 있다.
<수학식>
E2 / E1 > (임계 값)
(E1 : 선정된 매칭 특징점, E2 : 추가로 선정된 매칭 특징점)
이미지 입력부로부터 입력된 얼굴 이미지와 제 2 데이터베이스부에 저장된 이미지와의 비교를 통해 동물의 종을 판단하는 종 판단부를 더 포함할 수 있다.
제 1 데이터베이스부는 동물의 세부 종을 판단할 수 있는 표준화된 데이터로 수집된 복수 개의 변이(Variation) 이미지를 포함할 수 있다.
제 2 데이터베이스부는 동물의 종을 판단할 수 있는 표준화된 데이터로 수집된 복수 개의 종(Breed) 이미지를 포함할 수 있다.
상기와 같은 목적을 달성하기 위하여 본 발명의 기술적 사상에 의한 딥러닝 기반 비문 인식 방법은 이미지 입력부에서 개과에 속하는 동물의 얼굴 이미지를 입력받는 이미지 입력 단계, 비문 특징점 이미지 추출부에서 입력된 얼굴 이미지로부터 비문 특징점 이미지를 추출하는 비문 특징점 이미지 추출 단계, 세부 종 판단부에서 추출된 비문 특징점 이미지와 제 1 데이터베이스부에 저장된 복수 개의 이미지와 비교를 통해 동물의 세부 종을 판단하는 세부 종 판단 단계, 세부 종 결과 출력부에서 판단된 세부 종 결과를 출력하는 세부 종 결과 출력 단계를 포함할 수 있다.
비문 특징점 이미지 추출 단계는 전처리부에서 입력된 얼굴 이미지 중 관심영역(ROI: Region Of Interest)에 해당하는 이미지를 설정한 후, 이를 전처리하는 전처리 단계, 필터 이미지 출력부에서 전처리된 관심영역 이미지를 필터링하여 패턴 값이 추출된 필터 이미지를 출력하는 필터 이미지 출력 단계, 특징점 이미지 출력부에서 출력된 필터 이미지로부터 특징점을 추출하여 비문 특징점 이미지를 출력하는 특징점 이미지 출력 단계를 포함할 수 있다.
특징점 이미지 출력 단계에서 추출된 특징점은 적어도 하나 이상의 비문 특징점 위치, 스케일 및 방향을 포함할 수 있다.
전처리 단계는 관심영역 이미지의 설정을 위해 입력된 얼굴 이미지에 적응 임계(Adaptive thresholding) 알고리즘을 적용할 수 있다.
필터 이미지 출력 단계는 필터 이미지의 출력을 위해 전처리된 관심영역 이미지에 가보 필터(Gabor filter)를 적용할 수 있다.
특징점 이미지 출력 단계는 특징점의 추출을 위해 출력된 필터 이미지에 시프트 알고리즘(Shift algorithm)을 적용할 수 있다.
세부 종 판단 단계는 이미지 비교부에서 추출된 비문 특징점과 제 1 데이터베이스부에 저장된 복수 개 이미지의 특징점 간 유클리드 거리 값(Euclidean distance, L2-Norm)을 각각 산출하여 비교하는 이미지 비교 단계, 매칭 특징점 선정부에서 제 1 데이터베이스부에 저장된 복수 개 이미지의 특징점 중 산출된 유클리드 거리 값이 가장 작은 이미지의 특징점을 매칭 특징점으로 선정하는 매칭 특징점 선정 단계를 포함할 수 있다.
매칭 특징점 선정 단계는 선정된 매칭 특징점 외에 산출된 유클리드 거리 값이 작은 순으로 매칭 특징점을 추가로 더 선정한 후, 다음 수학식으로 정의되는 매칭 판단식을 이용하여 선정된 매칭 특징점의 매칭 신뢰도를 판단할 수 있다.
<수학식>
E2 / E1 > (임계 값)
(E1 : 선정된 매칭 특징점, E2 : 추가로 선정된 매칭 특징점)
종 판단부에서 이미지 입력 단계로부터 입력된 얼굴 이미지와 제 2 데이터베이스부에 저장된 이미지와의 비교를 통해 상기 동물의 종을 판단하는 종 판단 단계를 더 포함할 수 있다.
제 1 데이터베이스부는 동물의 세부 종을 판단할 수 있는 표준화된 데이터로 수집된 복수 개의 변이(Variation) 이미지를 포함할 수 있다.
제 2 데이터베이스부는 동물의 종을 판단할 수 있는 표준화된 데이터로 수집된 복수 개의 종(Breed) 이미지를 포함할 수 있다.
이상에서 설명한 바와 같은 딥러닝 기반 비문 인식 시스템 및 방법에 따르면,
첫째, 개과에 속하는 동물의 종, 세부 종 등의 구분을 통해 동물이 버려지는 것을 예방하고, 유기된 동물을 찾을 수 있는 효과를 가진다.
둘째, 개과에 속하는 각 동물의 비문 특성에 따라 영상 처리에 따른 파라미터를 용이하게 변경함으로써, 각 동물의 비문 특성에 따른 최적화된 이미지 처리를 구현할 수 있는 효과를 가진다.
셋째, 개과에 속하는 동물의 비문에서 망 형태의 이미지를 효과적으로 추출할 수 있는 효과를 가진다.
넷째, 개과에 속하는 동물의 비문으로부터 보다 안정적인 특징점을 추출할 수 있는 효과를 가진다.
다섯째, 1차 종 판단, 2차 세부 종 판단을 통해 에러를 최소화하며 구별 모호성을 방지할 수 있는 효과를 가진다.
여섯째, 1차 종 판단, 2차 세부 종 판단 모두 딥러닝을 기반으로 종을 판단함으로써, 보다 객관적이면서 정확하고 빠르게 인식할 수 있는 효과를 가진다.
도 1은 본 발명의 제 1 실시예에 따른 딥러닝 기반 비문 인식 시스템을 나타낸 구성도.
도 2는 본 발명의 제 2 실시예에 따른 딥러닝 기반 비문 인식 시스템을 나타낸 구성도.
도 3은 본 발명의 제 1 실시예에 따른 딥러닝 기반 비문 인식 방법을 나타낸 순서도.
도 4는 본 발명의 제 2 실시예에 따른 딥러닝 기반 비문 인식 방법을 나타낸 순서도.
도 5는 본 발명의 실시예에 따른 비문 특징점 이미지 추출 단계(S300)를 나타낸 순서도.
도 6은 본 발명의 실시예에 따른 세부 종 판단 단계(S400)를 나타낸 순서도.
도 7은 본 발명의 실시예로서 강아지(또는 개)의 비문 특징점을 추출하는 과정을 나타낸 도면.
도 8은 본 발명의 실시예로서 강아지(또는 개)의 비문 선의 굵기(8~15[pixel])에 따른 가보 필터링(Gabor filtering) 이미지 결과를 나타낸 도면.
도 9는 본 발명의 실시예로서 가보 필터의 평행선 방향(
)에 따른 가보 필터링 이미지 결과를 나타낸 도면.
도 10은 본 발명의 실시예로서 강아지(또는 개)의 비문 매칭 과정을 나타낸 도면.
도 11은 본 발명의 실시예로서 5마리 강아지(또는 개)에 대한 점수 비교를 나타낸 그래프.
도 12는 본 발명의 실시예로서 시프트(Shift), 서프(Surf), 오브(Orb) 매칭을 비교한 도면.
도 13은 본 발명의 실시예로서 매칭 방법에 따른 정확도 및 시간 결과를 나타낸 그래프.
도 2는 본 발명의 제 2 실시예에 따른 딥러닝 기반 비문 인식 시스템을 나타낸 구성도.
도 3은 본 발명의 제 1 실시예에 따른 딥러닝 기반 비문 인식 방법을 나타낸 순서도.
도 4는 본 발명의 제 2 실시예에 따른 딥러닝 기반 비문 인식 방법을 나타낸 순서도.
도 5는 본 발명의 실시예에 따른 비문 특징점 이미지 추출 단계(S300)를 나타낸 순서도.
도 6은 본 발명의 실시예에 따른 세부 종 판단 단계(S400)를 나타낸 순서도.
도 7은 본 발명의 실시예로서 강아지(또는 개)의 비문 특징점을 추출하는 과정을 나타낸 도면.
도 8은 본 발명의 실시예로서 강아지(또는 개)의 비문 선의 굵기(8~15[pixel])에 따른 가보 필터링(Gabor filtering) 이미지 결과를 나타낸 도면.
도 9는 본 발명의 실시예로서 가보 필터의 평행선 방향(
도 10은 본 발명의 실시예로서 강아지(또는 개)의 비문 매칭 과정을 나타낸 도면.
도 11은 본 발명의 실시예로서 5마리 강아지(또는 개)에 대한 점수 비교를 나타낸 그래프.
도 12는 본 발명의 실시예로서 시프트(Shift), 서프(Surf), 오브(Orb) 매칭을 비교한 도면.
도 13은 본 발명의 실시예로서 매칭 방법에 따른 정확도 및 시간 결과를 나타낸 그래프.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다. 본 발명의 특징 및 이점들은 첨부 도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명의 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다. 또한 본 발명과 관련된 공지 기능 및 그 구성에 대한 구체적인 설명은 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 구체적인 설명을 생략하였음에 유의해야할 것이다.
도 1은 본 발명의 제 1 실시예에 따른 딥러닝 기반 비문 인식 시스템을 나타낸 구성도이고, 도 2는 본 발명의 제 2 실시예에 따른 딥러닝 기반 비문 인식 시스템을 나타낸 구성도이다.
도 1 및 도 2를 참조하면, 딥러닝 기반 비문 인식 시스템은 이미지 입력부(100), 종 판단부(200), 비문 특징점 이미지 추출부(300), 세부 종 판단부(400), 세부 종 결과 출력부(500), 제 1 데이터베이스부(D1) 및 제 2 데이터베이스부(D2)를 포함할 수 있다.
이미지 입력부(100)는 개과에 속하는 동물의 얼굴 이미지를 입력할 수 있다. 이는 개과에 속하는 동물의 종 또는 세부 종을 판단하기 위해, 판단하고자 하는 이미지를 입력하기 위한 구성요소라 할 수 있다. 이 때 일반적으로 개과에 속하는 동물은 강아지, 개 등이 포함될 수 있다.
종 판단부(200)는 이미지 입력부(100)로부터 입력된 얼굴 이미지와 제 2 데이터베이스부(D2)에 저장된 이미지와의 비교를 통해 개과에 속하는 동물의 종을 판단할 수 있다. 이는 개과에 속하는 동물의 세부 종을 판단하기 전에 1차적으로 후보군을 선별하기 위한 구성요소라 할 수 있다. 이 때 종 판단부(200)에서의 ‘종’은 동물의 색깔 정보 등이 포함될 수 있으며, 동물이 강아지(또는 개)라 하였을 때는 견종이 포함될 수 있다. 종 판단부(200)는 1차적으로 선별하고자 하는 후보군의 양, 특성 등에 따라 사용자가 용이하게 변경할 수 있다. 도 1에 도시된 바와 같이 종 판단부(200)는 사용자의 딥러닝 환경 구축 등에 따라 1차적인 종 판단 없이 세부 종만 판단하거나, 도 2에 도시된 바와 같이 1차적으로 종을 판단 후 2차적으로 세부 종을 판단할 수 있다.
한편 제 2 데이터베이스부(D2)는 동물의 종을 판단할 수 있는 표준화된 데이터로 수집된 복수 개의 종(Breed) 이미지를 포함하는 저장매체라 할 수 있다. 예를 들어 종을 판단하고자 하는 동물이 강아지(또는 개)라 하였을 때는 시베리안 허스키종 이미지 100장, 코카스파니엘 이미지 100장 등의 견종 이미지가 포함될 수 있다.
비문 특징점 이미지 추출부(300)는 이미지 입력부(100)로부터 입력된 얼굴 이미지로부터 비문 특징점 이미지를 추출할 수 있다. 이 때 비문은 개과에 속하는 각 동물의 코 무늬라 할 수 있다. 이는 개과에 속하는 각 동물의 비문 특성에 따라 이미지를 최적화하여 비문 특징점 이미지를 추출하기 위한 구성요소라 할 수 있다. 이를 위해 비문 특징점 이미지 추출부(300)는 전처리부(310), 필터 이미지 출력부(330) 및 특징점 이미지 출력부(350)를 포함할 수 있다.
전처리부(310)는 이미지 입력부(100)로부터 입력된 얼굴 이미지 중 관심영역(ROI: Region Of Interest)에 해당하는 이미지를 설정한 후, 이를 전처리할 수 있다. 이는 얼굴 이미지 중 관심영역에 해당하는 데이터를 뽑기 위한 것으로서 눈, 코, 입 등 다양한 데이터들 중 필요한 영역인 ‘코’만을 추출하여 인식 속도 및 정확도를 높일 수 있는 구성요소라 할 수 있다. 이를 위해 전처리부(310)는 관심영역에 해당하는 이미지의 설정을 위해 이미지 입력부(100)로부터 입력된 얼굴 이미지에 적응 임계(Adaptive thresholding) 알고리즘을 적용할 수 있다. 그 이유는 적응 임계 알고리즘이 개과에 속하는 동물의 비문에서 망 형태의 이미지를 효과적으로 추출할 수 있기 때문이다. 개과에 속하는 동물의 코 패턴은 돌출된 부분과 움푹 들어간 부분으로 나눌 수 있는데, 이 때 움푹 들어간 부분을 연결하게 되면 망 형태의 이미지를 얻을 수 있다.
필터 이미지 출력부(330)는 전처리부(310)로부터 전처리된 관심영역 이미지를 필터링하여 패턴 값이 추출된 필터 이미지를 출력할 수 있다. 이는 개과에 속하는 동물의 비문 선의 굵기에 따라 최적화된 이미지 처리를 구현할 수 있도록 하는 구성요소라 할 수 있다. 이를 위해 필터 이미지 출력부(330)는 필터 이미지의 출력을 위해 전처리부(310)로부터 전처리된 관심영역 이미지에 가보 필터(Gabor filter)를 적용할 수 있다. 그 이유는 가보 필터가 파동을 가지고 방향성을 통해 사용자가 원하는 두께와 방향의 연속적인 데이터를 출력할 수 있기 때문이다. 이러한 이유로 가보 필터는 파라미터를 변경하면서 강아지 코에 최적화시키기 위한 필터로서, 개과에 속하는 동물의 비문 선을 보다 효과적으로 추출할 수 있다.
특징점 이미지 출력부(350)는 필터 이미지 출력부(330)로부터 출력된 필터 이미지로부터 특징점을 추출하여 비문 특징점 이미지를 출력할 수 있다. 이는 개과에 속하는 각 동물의 비문 특성에 따라 비문 특징점을 추출하기 위한 구성요소라 할 수 있다. 이를 위해 특징점 이미지 출력부(350)는 특징점 추출을 위해 필터 이미지 출력부(330)로부터 출력된 필터 이미지에 시프트 알고리즘(Shift algorithm)을 적용할 수 있다. 그 이유는 시프트 알고리즘이 개과에 속하는 동물의 비문으로부터 보다 안정적인 특징점을 추출할 수 있기 때문이다. 이 때 추출된 특징점은 적어도 하나 이상의 비문 특징점 위치, 스케일 및 방향을 포함하여 보다 안정적으로 추출된 특징점일 수 있다.
세부 종 판단부(400)는 특징점 이미지 출력부(350)로부터 추출된 특징점과 제 1 데이터베이스부(D1)에 저장된 복수 개의 이미지와 비교를 통해 개과에 속하는 동물의 세부 종을 판단할 수 있다. 이는 개과에 속하는 동물의 비문이 각 동물마다 다르다는 특성을 이용하여 세부 종을 판단하기 위한 구성요소라 할 수 있다. 이를 위해 세부 종 판단부(400)는 이미지 비교부(410) 및 매칭 특징점 선정부(430)를 포함할 수 있다.
한편 제 1 데이터베이스부(D1)는 동물의 세부 종을 판단할 수 있는 표준화된 데이터로 수집된 복수 개의 변이(Variation) 이미지를 포함하는 저장매체라 할 수 있다. 그 이유는 같은 종의 동물이라 하더라도 각 동물마다 다양한 크기, 색깔 등 서로 다른 특성을 가질 수 있기 때문이다. 예를 들어, 개과에 속하는 동물이 강아지(또는 개)일 경우, 제 2 데이터베이스부(D2)에서는 강아지의 종인 푸들, 시베리안허스키, 코카스파니엘 등을 판단하기 위한 데이터가 포함될 수 있다. 그리고 제 1데이터베이스부(D1)에서는 강아지가 ‘푸들’ 종인 것으로 판단되었을 때, 해당 ‘푸들’의 주인이 누구인지 또는 해당 ‘푸들’의 이름이 무엇인지 등의 세부 종을 판단하기 위한 데이터가 포함될 수 있다.
이미지 비교부(410)는 특징점 이미지 출력부(350)로부터 추출된 특징점과 제 1 데이터베이스부(D1)에 저장된 복수 개 이미지의 특징점 간 유클리드 거리 값(Euclidean distance, L2-Norm)을 각각 산출하여 비교할 수 있다. 이는 추출된 특징점의 기술자(Descriptor)(vector)와 제 1 데이터베이스부(D1)에 저장된 복수 개 이미지의 특징점의 기술자 비교를 위해 객관적인 수치값을 산출하기 위한 구성요소라 할 수 있다. 이 때 추출된 특징점의 개수가 N개, 제 1 데이터베이스부(D1)에 저장된 복수 개 이미지의 특징점의 개수가 M개인 경우, 총 N X M번의 비교를 할 수 있다.
매칭 특징점 선정부(430)는 제 1 데이터베이스부(D1)에 저장된 복수 개 이미지의 특징점 중 이미지 비교부(410)로부터 산출된 유클리드 거리 값이 가장 작은 이미지의 특징점을 매칭 특징점으로 선정할 수 있다. 이는 비슷한 패턴을 보이는 비교대상들의 유클리드 거리 값은 작다는 유클리드 거리 값의 특징을 이용한 구성요소라 할 수 있다.
한편 매칭 특징점 선정부(430)는 선정된 매칭 특징점 외에 이미지 비교부(410)로부터 산출된 유클리드 거리 값이 작은 순으로 매칭 특징점을 추가로 더 선정한 후, 선정된 매칭 특징점의 매칭 신뢰도를 판단할 수 있다. 이 때 매칭 신뢰도 판단은 하기 수학식으로 정의되는 매칭 판단식을 이용할 수 있다.
<수학식>
E2 / E1 > (임계 값)
(E1 : 선정된 매칭 특징점, E2 : 추가로 선정된 매칭 특징점)
도 1 및 도 2에 도시된 인식 시스템이 딥러닝을 기반으로 비문을 인식하는 방법은 도 3 내지 도 6을 참조하여 설명할 수 있다. 도 3은 본 발명의 제 1 실시예에 따른 딥러닝 기반 비문 인식 방법을 나타낸 순서도이고, 도 4는 본 발명의 제 2 실시예에 따른 딥러닝 기반 비문 인식 방법을 나타낸 순서도이고, 도 5는 본 발명의 실시예에 따른 비문 특징점 이미지 추출 단계(S300)를 나타낸 순서도이고, 도 6은 본 발명의 실시예에 따른 세부 종 판단 단계(S400)를 나타낸 순서도이다.
도 3 및 도 4를 참조하면, 딥러닝 기반 비문 인식 방법은 이미지 입력 단계(S100), 종 판단 단계(S200), 비문 특징점 이미지 추출 단계(S300), 세부 종 판단 단계(S400) 및 세부 종 결과 출력 단계(S500)를 포함할 수 있다.
먼저 이미지 입력부(100)에서는 개과에 속하는 동물의 얼굴 이미지를 입력할 수 있다(S100). 이는 개과에 속하는 동물의 종 또는 세부 종을 판단하기 위해, 판단하고자 하는 이미지를 입력하기 위한 단계라 할 수 있다. 이 때 일반적으로 개과에 속하는 동물은 강아지, 개 등이 포함될 수 있다.
종 판단부(200)에서는 S100으로부터 입력된 얼굴 이미지와 제 2 데이터베이스부(D2)에 저장된 이미지와의 비교를 통해 개과에 속하는 동물의 종을 판단할 수 있다(S200). 이는 개과에 속하는 동물의 세부 종을 판단하기 전에 1차적으로 후보군을 선별하기 위한 단계라 할 수 있다. 이 때 S200에서의 ‘종’은 동물의 색깔 정보 등이 포함될 수 있으며, 동물이 강아지(또는 개)라 하였을 때는 견종이 포함될 수 있다. S200은 1차적으로 선별하고자 하는 후보군의 양, 특성 등에 따라 사용자가 용이하게 변경할 수 있다. 도 3에 도시된 바와 같이 S200은 사용자의 딥러닝 환경 구축 등에 따라 1차적인 종 판단 없이 세부 종만 판단하거나, 도 4에 도시된 바와 같이 1차적으로 종을 판단 후 2차적으로 세부 종을 판단할 수 있다.
한편 제 2 데이터베이스부(D2)는 동물의 종을 판단할 수 있는 표준화된 데이터로 수집된 복수 개의 종(Breed) 이미지를 포함하는 저장매체라 할 수 있다. 예를 들어 종을 판단하고자 하는 동물이 강아지(또는 개)라 하였을 때는 시베리안 허스키종 이미지 100장, 코카스파니엘 이미지 100장 등의 견종 이미지가 포함될 수 있다.
비문 특징점 이미지 추출부(300)에서는 S100으로부터 입력된 얼굴 이미지로부터 비문 특징점 이미지를 추출할 수 있다(S300). 이 때 비문은 개과에 속하는 각 동물의 코 무늬라 할 수 있다. 이는 개과에 속하는 각 동물의 비문 특성에 따라 이미지를 최적화하여 비문 특징점 이미지를 추출하기 위한 단계라 할 수 있다.
한편 도 5에 도시된 바와 같이, S300에서는 전처리 단계(S310), 필터 이미지 출력 단계(S330) 및 특징점 이미지 출력 단계(S350)를 포함할 수 있다.
전처리부(310)에서는 S100으로부터 입력된 얼굴 이미지 중 관심영역(ROI: Region Of Interest)에 해당하는 이미지를 설정한 후, 이를 전처리할 수 있다(S310). 이는 얼굴 이미지 중 관심영역에 해당하는 데이터를 뽑기 위한 것으로서 눈, 코, 입 등 다양한 데이터들 중 필요한 영역인 ‘코’만을 추출하여 인식 속도 및 정확도를 높일 수 있는 단계라 할 수 있다. 이를 위해 S310에서는 관심영역에 해당하는 이미지의 설정을 위해 S100으로부터 입력된 얼굴 이미지에 적응 임계(Adaptive thresholding) 알고리즘을 적용할 수 있다. 그 이유는 적응 임계 알고리즘이 개과에 속하는 동물의 비문에서 망 형태의 이미지를 효과적으로 추출할 수 있기 때문이다. 개과에 속하는 동물의 코 패턴은 돌출된 부분과 움푹 들어간 부분으로 나눌 수 있는데, 이 때 움푹 들어간 부분을 연결하게 되면 망 형태의 이미지를 얻을 수 있다.
필터 이미지 출력부(330)에서는 S310으로부터 전처리된 관심영역 이미지를 필터링하여 패턴 값이 추출된 필터 이미지를 출력할 수 있다(S330). 이는 개과에 속하는 동물의 비문 선의 굵기에 따라 최적화된 이미지 처리를 구현할 수 있도록 하는 단계라 할 수 있다. 이를 위해 S330에서는 필터 이미지의 출력을 위해 S310으로부터 전처리된 관심영역 이미지에 가보 필터(Gabor filter)를 적용할 수 있다. 그 이유는 가보 필터가 파동을 가지고 방향성을 통해 사용자가 원하는 두께와 방향의 연속적인 데이터를 출력할 수 있기 때문이다. 이러한 이유로 가보 필터는 파라미터를 변경하면서 강아지 코에 최적화시키기 위한 필터로서, 개과에 속하는 동물의 비문 선을 보다 효과적으로 추출할 수 있다.
특징점 이미지 출력부(350)에서는 S330로부터 출력된 필터 이미지로부터 특징점을 추출하여 비문 특징점 이미지를 출력할 수 있다(S350). 이는 개과에 속하는 각 동물의 비문 특성에 따라 비문 특징점을 추출하기 위한 단계라 할 수 있다. 이를 위해 S350에서는 특징점 추출을 위해 S330으로부터 출력된 필터 이미지에 시프트 알고리즘(Shift algorithm)을 적용할 수 있다. 그 이유는 시프트 알고리즘이 개과에 속하는 동물의 비문으로부터 보다 안정적인 특징점을 추출할 수 있기 때문이다. 이 때 특징점 이미지는 적어도 하나 이상의 비문 특징점 위치, 스케일 및 방향을 포함하여 보다 안정적으로 추출된 특징점일 수 있다.
세부 종 판단부(400)에서는 S350으로부터 추출된 특징점과 제 1 데이터베이스부(D1)에 저장된 저장된 복수 개의 이미지와 비교를 통해 개과에 속하는 동물의 세부 종을 판단할 수 있다(S400). 이는 개과에 속하는 동물의 비문이 각 동물마다 다르다는 특성을 이용하여 세부 종을 판단하기 위한 단계라 할 수 있다.
이를 위해 도 6에 도시된 바와 같이, S400에서는 이미지 비교 단계(S410) 및 매칭 특징점 선정 단계(S430)를 포함할 수 있다.
한편 제 1 데이터베이스부(D1)는 동물의 세부 종을 판단할 수 있는 표준화된 데이터로 수집된 복수 개의 변이(Variation) 이미지를 포함하는 저장매체라 할 수 있다. 그 이유는 같은 종의 동물이라 하더라도 각 동물마다 다양한 크기, 색깔 등 서로 다른 특성을 가질 수 있기 때문이다. 예를 들어, 개과에 속하는 동물이 강아지(또는 개)일 경우, 제 2 데이터베이스부(D2)에서는 강아지의 종인 푸들, 시베리안허스키, 코카스파니엘 등을 판단하기 위한 데이터가 포함될 수 있다. 그리고 제 1데이터베이스부(D1)에서는 강아지가 ‘푸들’ 종인 것으로 판단되었을 때, 해당 ‘푸들’의 주인이 누구인지 또는 해당 ‘푸들’의 이름이 무엇인지 등의 세부 종을 판단하기 위한 데이터가 포함될 수 있다.
이미지 비교부(410)에서는 S350으로부터 추출된 특징점과 제 1 데이터베이스부(D1)에 저장된 복수 개 이미지의 특징점 간 유클리드 거리 값(Euclidean distance, L2-Norm)을 각각 산출하여 비교할 수 있다(S350). 이는 추출된 특징점의 기술자(Descriptor)(vector)와 제 1 데이터베이스부(D1)에 저장된 복수 개 이미지의 특징점의 기술자 비교를 위해 객관적인 수치값을 산출하기 위한 단계라 할 수 있다. 이 때 추출된 특징점의 개수가 N개, 제 1 데이터베이스부(D1)에 저장된 복수 개 이미지의 특징점의 개수가 M개인 경우, 총 N X M번의 비교를 할 수 있다.
매칭 특징점 선정부(430)에서는 제 1 데이터베이스부(D1)에 저장된 복수 개 이미지의 특징점 중 S410으로부터 산출된 유클리드 거리 값이 가장 작은 이미지의 특징점을 매칭 특징점으로 선정할 수 있다(S430). 이는 비슷한 패턴을 보이는 비교대상들의 유클리드 거리 값은 작다는 유클리드 거리 값의 특징을 이용한 단계라 할 수 있다.
한편 S430에서는 선정된 매칭 특징점 외에 S410으로부터 산출된 유클리드 거리 값이 작은 순으로 매칭 특징점을 추가로 더 선정한 후, 선정된 매칭 특징점의 매칭 신뢰도를 판단할 수 있다. 이 때 매칭 신뢰도 판단은 하기 수학식으로 정의되는 매칭 판단식을 이용할 수 있다.
<수학식>
E2 / E1 > (임계 값)
(E1 : 선정된 매칭 특징점, E2 : 추가로 선정된 매칭 특징점)
도 7은 본 발명의 실시예로서 강아지(또는 개)의 비문 특징점을 추출하는 과정을 나타낸 도면이고, 도 8은 본 발명의 실시예로서 강아지(또는 개)의 비문 선의 굵기(8~15[pixel])에 따른 가보 필터링(Gabor filtering) 이미지 결과를 나타낸 도면이며, 도 9는 본 발명의 실시예로서 가보 필터의 평행선 방향( 
)에 따른 가보 필터링 이미지 결과를 나타낸 도면이고, 도 10은 본 발명의 실시예로서 강아지(또는 개)의 비문 매칭 과정을 나타낸 도면이다.
도 7을 참조하면, 사용자 인터페이스(User interface)에 강아지의 코 이미지가 입력 값으로 들어온다고 가정할 수 있다. 이 때 사용자 인터페이스는 웹(Web) 또는 모바일(Mobile) 등 사용자가 입력받고자 하는 다양한 매체를 포함할 수 있다.
도 7(a)은 강아지의 코 이미지이다. 이 때 도 7(a)에서의 강아지 코 이미지 크기는 400X400[pixel]로, 이는 코 이미지의 해상도에 따라 다양한 크기로 입력받을 수 있다.
도 7(b)은 도 7(a)로부터 입력받은 강아지 코 이미지 중 관심영역(ROI) 이미지이다. 도 7(a)에 도시된 바와 같이, 강아지 코에서 특징을 뽑는다면, 콧구멍을 기준으로 양 콧구멍 사이를 가로지르는 코 하단의 선과, 콧구멍 사이와 코 상단에 위치하는 무늬에서 특징을 뽑을 수 있다. 이를 기초로 코가 반듯한 원 형식으로 입력받는다고 가정하였을 때, 도 7(b)의 관심영역 높이는 코 이미지 높이의 1/8~7/8로, 관심영역 폭은 코 이미지 폭의 1/4~3/4인 직사각형으로 설정할 수 있다. 다만 상기 관심영역의 높이 및 너비 수치는 실시예로서, 입력받는 코 이미지의 크기 또는 코 형태 등에 따라 용이하게 변경하여 설정할 수 있다. 한편 도 7(b)에 도시된 바와 같이, 개과에 속하는 동물의 코 패턴은 돌출된 부분과 움푹 들어간 부분으로 나눌 수 있는데, 이 때 돌출된 부분과 움푹 들어간 부분으로 만들어진 전체적인 무늬를 ‘비문’이라 할 수 있으며, 특정한 1개의 패턴을 ‘특징점’이라 할 수 있다.
도 7(c)은 도 7(b)로부터 설정된 관심영역 이미지를 전처리한 이미지이다. 도 7(b) 및 도 7(c)에 도시된 바와 같이, 설정된 강아지 코 이미지의 관심영역에서 망 형태의 이미지를 효과적으로 추출하기 위해서는 적응 임계 알고리즘을 사용할 수 있다. 적응 임계 알고리즘은 임계값을 전체 영역에 적용하여 처리하는 방식이 아닌, 주변 영역의 평균값이나 가우시안 필터링(Gaussian filtering) 값을 이용해서 변화하는 임계값을 가지며 전체 글로벌(Global) 이미지를 이진화할 수 있다. 이 때 도 7(b)에서는 가우시안 방식을 이용했으며, 주변영역의 크기는 4x4[pixel]로 할 수 있다.
도 7(d)은 도 7(c)로부터 전처리된 이미지를 필터링한 이미지이다. 도 7(d)에 도시된 바와 같이, 전처리된 이미지에는 가보 필터(Gabor filter)를 적용할 수 있다. 가보 필터는 이미지 프로세싱에서 엣지 검출(Edge detection), 텍스처 분석(Texture analysis), 특징 추출(Feature extraction) 등에 사용되는 선형필터이다. 즉 이미지에 특정 주파수 요소를 특정 방향으로 로컬화된 영역의 여부를 분석하는 필터이다. 주기함수의 특징을 이용해서 엣지 혹은 텍스처들이 변화하는 부분을 찾아낼 수 있다. 이차원 공간 영역에서 2D 가보 필터는 사인함수로 모듈레이션된 가우시안 필터이다.
가보 필터의 수식은 다음과 같다.
<수식 1>
이 때 x, y는 가보 필터의 크기이고, 
는 가보 필터의 표준편차이다. 
는 필터의 평행선의 방향이다. 
는 함수의 파동 크기이다. 
는 평행선의 종횡비이다. 
는 중심으로부터 이동한 거리이다. 여기서 강아지 코의 선들을 잘 추출하기 위한 파라미터는 
와 
이다.
도 7(e)은 도 7(d)로부터 필터링된 이미지에서 특징점을 추출한 이미지이다. 도 7(e)에 도시된 바와 같이, 필터링된 이미지는 시프트 알고리즘(Shift algorithm)을 적용할 수 있다. 그 이유는 시프트 알고리즘이 회전에 불변하는 특징을 추출하는 특징점 기반 인식 알고리즘이기 때문이다.
시프트 알고리즘으로 특징점을 추출하는 방법은 다음과 같이 4단계를 거칠 수 있다.
1. scale-space extrema detection 단계 : 물체가 불변하기 위해 특징점 추출 시, 가우시안 블러 이미지를 스케일 별로 축소시켜 쌓아 올린 가우시안 피라미드(Gaussian Pyramid)를 생성한다. 그리고 가우시안 피라미드 영상의 차인 DOG(different of Gaussian)를 구해서 극점(Extrema)인 지점을 찾는다. 여러 스케일에 걸쳐서 특징점으로 추출된 값은 스케일에 불변하다고 할 수 있다.
2. Keypoint localization 단계 : 회전에 불변하는 특징을 추가로 만들기 위해, 알고리즘은 방향을 정규화(Normalize)하고, 극점(Extrema)을 키포인트(Keypoint)로 제한한다. 이는 테일러(Taylor) 급수의 2차 전개로 보간(Interpolation)하여 특징점을 확실하게 나타내 줄 수 있는 키포인트(keypoint)를 찾아내는 단계이다.
3. Orientation assignment 단계 : 회전변화에도 특징점 검출을 위해서 앞 단계(Keypoint localization)에서 정해진 키포인트(keypoint)의 방향을 찾는 단계이다.
4. Keypoint descriptor 단계 : 각 특징점마다 기술자(descriptor)를 정해주는 단계이다. 기술자는 특징점을 중심으로 주변의 기울기(Gradient) 값들의 방향들이다. 이를 이용하여 각 특징점마다 기술자를 적용하면, 도 7(e)에 도시된 바와 같이 특징점의 위치와 스케일, 방향 등을 알 수 있다. 이는 보다 안정적인 특징점을 추출할 수 있는 특징을 가질 수 있다.
도 10(a)은 시프트 매칭(Shift matching) 방법을 이용한 다른 강아지(또는 개)에 대한 비문 매칭 과정을 나타낸 도면이고, 도 10(b)은 시프트 매칭(Shift matching) 방법을 이용한 다른 강아지(또는 개)에 대한 비문 매칭 과정을 나타낸 도면이다.
도 10(a) 및 도 10(b)을 참조하면, 상기와 같은 기술자를 통해 특징점이 추출된 이미지(입력된 이미지)와 데이터베이스의 이미지 사이의 각 키 간 유클리드 거리 값을 데이터베이스의 이미지 개수만큼 산출할 수 있다. 그리고 산출된 유클리드 거리 값 중 최소 값(E1)에 해당하는 데이터베이스의 이미지를 추출된 이미지와 매칭되는 매칭 키(Matching key)라고 선정할 수 있다.
한편 최소 값(E1)와 두 번째로 가까운 값의 일정 비율을 통해 구한 두 값을 통해 정확한 매칭을 할 수 있다. 이는 최소 값(E1) 다음으로 유클리드 거리 값이 작은 값(E2)에 해당하는 데이터베이스의 이미지를 추가로 더 선정한 후, 이를 이용하여 최소 값(E1)의 매칭 신뢰도를 파악할 수 있다. 이 때 매칭 신뢰도 판단은 하기 수학식으로 정의되는 매칭 판단식을 이용할 수 있다.
<수학식>
E2 / E1 > (임계 값)
(E1 : 최소 값(선정된 매칭 특징점), E2 : 추가로 선정된 값(추가로 선정된 매칭 특징점))
도 11은 본 발명의 실시예로서 5마리 강아지(또는 개)에 대한 점수 비교를 나타낸 그래프이고, 도 12는 본 발명의 실시예로서 시프트(Shift), 서프(Surf), 오브(Orb) 매칭을 비교한 도면이고, 도 13은 본 발명의 실시예로서 매칭 방법에 따른 정확도 및 시간 결과를 나타낸 그래프이다.
표 1은 5마리의 강아지에 대한 점수 비교를 나타낸 표이고, 표 2는 매칭 방법에 따른 정확도 및 시간 결과를 나타낸 표이다.
도 11 및 표 1을 참조하면, 본 발명은 실시예로 5마리의 강아지에 대한 점수를 비교하기 위해 CPU i5 2.2 Ghz인 컴퓨터에서 Python 3.6.4를 이용하였으며, 5종의 강아지의 여러 코 이미지 교차 매칭을 통해서 점수 값을 비교하였다. 여기서 점수 값은 시프트 매칭의 특징점(Key point)의 개수로서, 아래 표 1과 같이 가장 높은 값을 가지는 강아지가 그 강아지라고 확인할 수 있다.
| Dog1 | Dog2 | Dog3 | Dog4 | Dog5 | |
| Dog1 | 44.5 | 9.17 | 10.2 | 8.67 | 5.16 |
| Dog2 | 9.33 | 58.7 | 9.33 | 8 | 5.27 |
| Dog3 | 7.5 | 8 | 92.1 | 6.83 | 5.33 |
| Dog4 | 6.5 | 7.8 | 7.1 | 42.5 | 6.67 |
| Dog5 | 6.8 | 5.33 | 8 | 5.5 | 75.8 |
도 12, 도 13 및 표 2를 참조하면, 본 발명은 실시예로서 실시간(Real time) 매칭 방법을 이용하기 위해 시프트 매칭(Shift matching) 방법과 함께, 서프(Surf), 오브(Orb) 방법을 이용하여 정확도 및 시간을 측정할 수 있다.
도 12(a) 및 도 12(b)는 시프트 매칭(Shift matching)을, 도 12(c) 및 도 12(d)는 서프 매칭(Surf matching)을, 도 12(e) 및 도 12(f)는 오브 매칭(Orb matching)을 이용해 매칭한 결과이다. 그리고 도 12(a), 도 12(c) 및 도 12(e)는 같은 강아지의 코 사진을, 도 12(b), 도 12(d) 및 도 12(f)는 다른 강아지의 코 사진을 비교한 결과이다.
여기서 매칭율(MR : Matching Rate)은 같은 강아지의 복수 개의 코 이미지에 대한 이미지 점수들의 평균을 Same Image Score(SIS)라 하고, 다른 강아지의 복수 개의 코 이미지에 대한 이미지 점수들의 평균을 Different Image Score(DIS)라 할 수 있다. 매칭율(MR)은 SIS/(DIS+SIS)*100로 정의할 수 있다.
상기 매칭율(MR) 정의에 따라, 매칭율을 계산한 결과, 도 13 및 아래 표 2와 같이 시프트 매칭(Shift matching) 방법이 정확도 및 시간에서 가장 높은 매칭율(MR)인 것으로 나타났다.
| Time/ per |
Time (s) |
DIS (score) |
SIS (score) |
MR (%) |
|
| SIFT | 2.18 | 157 | 5.2 | 25.8 | 83.22 |
| SURF | 1.81 | 131 | 29.1 | 37.2 | 56.10 |
| ORB | 1.76 | 127 | 297 | 265 | 47.15 |
한편 도 7 내지 도 13에 도시된 본 발명의 실시예는 ImageNet database를 pre-training 과정에서 사용하였으며, 추가적으로 동물 종에 대한 이미지를 fine-tuning으로 사용하였지만, 이는 인식 시스템 환경 및 사용자 설정 등에 따라 다양하게 변경할 수 있다.
또한 본 발명의 딥러닝(Deep learning) 방법은 이미지가 포함하고 있는 물체의 종류를 알아내는 심층 신경 아키텍처(Deep neural architecture)를 이용한 alexNet, VGGNet, GoogleNet, resNet 등 다양한 방법을 이용할 수 있다.
이상에서 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정들도 본 발명의 범위에 속하는 것으로 간주되어야할 것이다.
이미지 입력부 : 100 종 판단부 : 200
비문 특징점 이미지 추출부 : 300 전처리부 : 310
필터 이미지 출력부 : 330 특징점 이미지 출력부 : 350
세부 종 판단부 : 400 이미지 비교부 : 410
매칭 특징점 선정부 : 430 세부 종 결과 출력부 : 500
제 1 데이터베이스부 : D1 제 2 데이터베이스부 : D2
비문 특징점 이미지 추출부 : 300 전처리부 : 310
필터 이미지 출력부 : 330 특징점 이미지 출력부 : 350
세부 종 판단부 : 400 이미지 비교부 : 410
매칭 특징점 선정부 : 430 세부 종 결과 출력부 : 500
제 1 데이터베이스부 : D1 제 2 데이터베이스부 : D2
Claims (22)
- 개과에 속하는 동물의 얼굴 이미지를 입력하는 이미지 입력부;
상기 입력된 얼굴 이미지로부터 비문 특징점 이미지를 추출하는 비문 특징점 이미지 추출부;
상기 추출된 비문 특징점 이미지와 제 1 데이터베이스부에 저장된 복수 개의 이미지와 비교를 통해 상기 동물의 세부 종을 판단하는 세부 종 판단부; 및
상기 판단된 세부 종 결과를 출력하는 세부 종 결과 출력부;를 포함하며,
상기 비문 특징점 이미지 추출부는,
상기 입력된 얼굴 이미지 중 관심영역(ROI: Region Of Interest)에 해당하는 이미지를 설정한 후, 상기 개과에 속하는 동물의 코 무늬로 정의되되 돌출된 부분과 움푹 들어간 부분으로 나뉘는 비문에서, 상기 움푹 들어간 부분을 연결한 이미지인 망 형태의 이미지를 추출할 수 있도록, 상기 관심영역에 해당하는 이미지를 전처리하는 전처리부;
상기 전처리된 관심영역 이미지를 필터링하여 패턴 값이 추출된 필터 이미지를 출력하는 필터 이미지 출력부; 및
상기 출력된 필터 이미지로부터 특징점을 추출하여 비문 특징점 이미지를 출력하는 특징점 이미지 출력부;를 포함하되,
상기 필터 이미지 출력부는,
상기 필터 이미지의 출력을 위해 상기 전처리된 관심영역 이미지에 가보 필터(Gabor filter)를 적용하고,
상기 특징점 이미지 출력부는,
상기 특징점 추출을 위해 상기 출력된 필터 이미지에 시프트 알고리즘(Shift algorithm)을 적용하는, 딥러닝 기반 비문 인식 시스템. - 삭제
- 제 1 항에 있어서, 상기 추출된 특징점은,
적어도 하나 이상의 비문 특징점 위치, 스케일 및 방향을 포함하는 딥러닝 기반 비문 인식 시스템. - 제 1 항에 있어서, 상기 전처리부는,
상기 관심영역 이미지의 설정을 위해 상기 입력된 얼굴 이미지에 적응 임계(Adaptive thresholding) 알고리즘을 적용하는 딥러닝 기반 비문 인식 시스템. - 삭제
- 삭제
- 제 3 항에 있어서, 상기 세부 종 판단부는,
상기 추출된 특징점과 상기 제 1 데이터베이스부에 저장된 복수 개 이미지의 특징점 간 유클리드 거리 값(Euclidean distance, L2-Norm)을 각각 산출하여 비교하는 이미지 비교부; 및
상기 제 1 데이터베이스부에 저장된 복수 개 이미지의 특징점 중 상기 산출된 유클리드 거리 값이 가장 작은 이미지의 특징점을 매칭 특징점으로 선정하는 매칭 특징점 선정부;를 포함하는 딥러닝 기반 비문 인식 시스템. - 제 7 항에 있어서, 상기 매칭 특징점 선정부는,
상기 선정된 매칭 특징점 외에 상기 산출된 유클리드 거리 값이 작은 순으로 매칭 특징점을 추가로 더 선정한 후, 다음 수학식으로 정의되는 매칭 판단식을 이용하여 상기 선정된 매칭 특징점의 매칭 신뢰도를 판단하는 딥러닝 기반 비문 인식 시스템.
<수학식>
E2 / E1 > (임계 값)
(E1 : 선정된 매칭 특징점, E2 : 추가로 선정된 매칭 특징점) - 제 1 항에 있어서,
상기 이미지 입력부로부터 입력된 얼굴 이미지와 제 2 데이터베이스부에 저장된 이미지와의 비교를 통해 상기 동물의 종을 판단하는 종 판단부를 더 포함하는 딥러닝 기반 비문 인식 시스템. - 제 1 항에 있어서, 상기 제 1 데이터베이스부는,
상기 동물의 세부 종을 판단할 수 있는 표준화된 데이터로 수집된 복수 개의 변이(Variation) 이미지를 포함하는 딥러닝 기반 비문 인식 시스템. - 제 9 항에 있어서, 상기 제 2 데이터베이스부는,
상기 동물의 종을 판단할 수 있는 표준화된 데이터로 수집된 복수 개의 종(Breed) 이미지를 포함하는 딥러닝 기반 비문 인식 시스템. - 이미지 입력부에서 개과에 속하는 동물의 얼굴 이미지를 입력받는 이미지 입력 단계;
비문 특징점 이미지 추출부에서 상기 입력된 얼굴 이미지로부터 비문 특징점 이미지를 추출하는 비문 특징점 이미지 추출 단계;
세부 종 판단부에서 상기 추출된 비문 특징점 이미지와 제 1 데이터베이스부에 저장된 복수 개의 이미지와 비교를 통해 상기 동물의 세부 종을 판단하는 세부 종 판단 단계; 및
세부 종 결과 출력부에서 상기 판단된 세부 종 결과를 출력하는 세부 종 결과 출력 단계;를 포함하며,
상기 비문 특징점 이미지 추출 단계는,
전처리부에서 상기 입력된 얼굴 이미지 중 관심영역(ROI: Region Of Interest)에 해당하는 이미지를 설정한 후, 상기 개과에 속하는 동물의 코 무늬로 정의되되 돌출된 부분과 움푹 들어간 부분으로 나뉘는 비문에서, 상기 움푹 들어간 부분을 연결한 이미지인 망 형태의 이미지를 추출할 수 있도록, 상기 관심영역에 해당하는 이미지를 전처리하는 전처리 단계;
필터 이미지 출력부에서 상기 전처리된 관심영역 이미지를 필터링하여 패턴 값이 추출된 필터 이미지를 출력하는 필터 이미지 출력 단계; 및
특징점 이미지 출력부에서 상기 출력된 필터 이미지로부터 특징점을 추출하여 비문 특징점 이미지를 출력하는 특징점 이미지 출력 단계;를 포함하되,
상기 필터 이미지 출력 단계는,
상기 필터 이미지의 출력을 위해 상기 전처리된 관심영역 이미지에 가보 필터(Gabor filter)를 적용하고,
상기 특징점 이미지 출력 단계는,
상기 특징점의 추출을 위해 상기 출력된 필터 이미지에 시프트 알고리즘(Shift algorithm)을 적용하는, 딥러닝 기반 비문 인식 방법. - 삭제
- 제 12 항에 있어서, 상기 추출된 특징점은,
적어도 하나 이상의 비문 특징점 위치, 스케일 및 방향을 포함하는 딥러닝 기반 비문 인식 방법. - 제 12 항에 있어서, 상기 전처리 단계는,
상기 관심영역 이미지의 설정을 위해 상기 입력된 얼굴 이미지에 적응 임계(Adaptive thresholding) 알고리즘을 적용하는 딥러닝 기반 비문 인식 방법. - 삭제
- 삭제
- 제 12 항에 있어서, 상기 세부 종 판단 단계는,
이미지 비교부에서 상기 추출된 특징점과 상기 제 1 데이터베이스부에 저장된 복수 개 이미지의 특징점 간 유클리드 거리 값(Euclidean distance, L2-Norm)을 각각 산출하여 비교하는 이미지 비교 단계; 및
매칭 특징점 선정부에서 상기 제 1 데이터베이스부에 저장된 복수 개 이미지의 특징점 중 상기 산출된 유클리드 거리 값이 가장 작은 이미지의 특징점을 매칭 특징점으로 선정하는 매칭 특징점 선정 단계;를 포함하는 딥러닝 기반 비문 인식 방법. - 제 18 항에 있어서, 상기 매칭 특징점 선정 단계는,
상기 선정된 매칭 특징점 외에 상기 산출된 유클리드 거리 값이 작은 순으로 매칭 특징점을 추가로 더 선정한 후, 다음 수학식으로 정의되는 매칭 판단식을 이용하여 상기 선정된 매칭 특징점의 매칭 신뢰도를 판단하는 딥러닝 기반 비문 인식 방법.
<수학식>
E2 / E1 > (임계 값)
(E1 : 선정된 매칭 특징점, E2 : 추가로 선정된 매칭 특징점) - 제 12 항에 있어서,
종 판단부에서 상기 이미지 입력 단계로부터 입력된 얼굴 이미지와 제 2 데이터베이스부에 저장된 이미지와의 비교를 통해 상기 동물의 종을 판단하는 종 판단단계를 더 포함하는 딥러닝 기반 비문 인식 방법. - 제 12 항에 있어서, 상기 제 1 데이터베이스부는,
상기 동물의 세부 종을 판단할 수 있는 표준화된 데이터로 수집된 복수 개의 변이(Variation) 이미지를 포함하는 딥러닝 기반 비문 인식 방법. - 제 20 항에 있어서, 상기 제 2 데이터베이스부는,
상기 동물의 종을 판단할 수 있는 표준화된 데이터로 수집된 복수 개의 종(Breed) 이미지를 포함하는 딥러닝 기반 비문 인식 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180084266A KR102466215B1 (ko) | 2018-07-19 | 2018-07-19 | 딥러닝 기반 비문 인식 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180084266A KR102466215B1 (ko) | 2018-07-19 | 2018-07-19 | 딥러닝 기반 비문 인식 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200013160A KR20200013160A (ko) | 2020-02-06 |
| KR102466215B1 true KR102466215B1 (ko) | 2022-11-11 |
Family
ID=69569273
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180084266A KR102466215B1 (ko) | 2018-07-19 | 2018-07-19 | 딥러닝 기반 비문 인식 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102466215B1 (ko) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102254642B1 (ko) * | 2020-04-24 | 2021-05-21 | (주)유소프트 | 반려동물 비문인식 블록체인 플랫폼 |
| KR20220102450A (ko) * | 2021-01-13 | 2022-07-20 | 삼성전자주식회사 | 이미지 필터 효과의 생성 방법 및 그 전자 장치 |
| CN112784742B (zh) * | 2021-01-21 | 2024-06-18 | 宠爱王国(北京)网络科技有限公司 | 鼻纹特征的提取方法、装置及非易失性存储介质 |
| KR102603983B1 (ko) | 2021-07-01 | 2023-11-22 | 주식회사 인텔리고 | 근전도 신호를 이용한 딥러닝 기반의 행동 인식 시스템 및 방법 |
| CN113673422A (zh) * | 2021-08-19 | 2021-11-19 | 苏州中科先进技术研究院有限公司 | 一种宠物种类识别方法及识别*** |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101309889B1 (ko) * | 2012-08-10 | 2013-09-17 | 아이베리파이 엘엘씨 | 바이오메트릭 인증을 위한 텍스처 특징 |
| JP2017126168A (ja) * | 2016-01-13 | 2017-07-20 | 富士通株式会社 | 生体認証装置、生体認証方法、および生体認証プログラム |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4190209B2 (ja) | 2002-05-23 | 2008-12-03 | サージミヤワキ株式会社 | 鼻紋の照合方法 |
| KR101494716B1 (ko) | 2014-10-31 | 2015-02-26 | 주식회사 아이싸이랩 | 동물들의 코무늬를 이용한 동물 개체 인식 장치 |
| KR20170002193A (ko) * | 2015-06-29 | 2017-01-06 | 주식회사 버즈폴 | 품종 식별을 이용하는 펫시터 중개 장치 및 그 중개 방법 |
-
2018
- 2018-07-19 KR KR1020180084266A patent/KR102466215B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101309889B1 (ko) * | 2012-08-10 | 2013-09-17 | 아이베리파이 엘엘씨 | 바이오메트릭 인증을 위한 텍스처 특징 |
| JP2017126168A (ja) * | 2016-01-13 | 2017-07-20 | 富士通株式会社 | 生体認証装置、生体認証方法、および生体認証プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200013160A (ko) | 2020-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102466215B1 (ko) | 딥러닝 기반 비문 인식 시스템 및 방법 | |
| Soltanpour et al. | A survey of local feature methods for 3D face recognition | |
| Nurhaida et al. | Automatic Indonesian's batik pattern recognition using SIFT approach | |
| Grigorescu et al. | Distance sets for shape filters and shape recognition | |
| Creusot et al. | A machine-learning approach to keypoint detection and landmarking on 3D meshes | |
| Alvarez-Betancourt et al. | A keypoints-based feature extraction method for iris recognition under variable image quality conditions | |
| Berretti et al. | Selecting stable keypoints and local descriptors for person identification using 3D face scans | |
| Short et al. | Latent fingerprint segmentation using ridge template correlation | |
| Weideman et al. | Integral curvature representation and matching algorithms for identification of dolphins and whales | |
| Lin et al. | A novel matching algorithm for splitting touching rice kernels based on contour curvature analysis | |
| Martins et al. | Forest species recognition based on dynamic classifier selection and dissimilarity feature vector representation | |
| KR101255729B1 (ko) | 지역 정렬을 이용한 부분 이미지 검색 방법 | |
| Youbi et al. | Human ear recognition based on multi-scale local binary pattern descriptor and KL divergence | |
| Anantharatnasamy et al. | Fusion of colour, shape and texture features for content based image retrieval | |
| Faroek et al. | Classification based on machine learning methods for identification of image matching achievements | |
| Wati et al. | Pattern Recognition of Sarong Fabric Using Machine Learning Approach Based on Computer Vision for Cultural Preservation. | |
| Le et al. | Document retrieval based on logo spotting using key-point matching | |
| da Silva Soares et al. | Methodology based on texture, color and shape features for traffic light detection and recognition | |
| Anjomshoae et al. | Enhancement of template-based method for overlapping rubber tree leaf identification | |
| Allen et al. | Unsupervised tattoo segmentation combining bottom-up and top-down cues | |
| Oldal et al. | Biometric Authentication System based on Hand Geometry and Palmprint Features. | |
| Verma et al. | Vision based counting of texture-less objects using shape and color features | |
| Szczepanik et al. | Data management for fingerprint recognition algorithm based on characteristic points’ groups | |
| Patel et al. | Biometric-based Unique Identification for Bovine Animals—Comparative Study of Various Machine and Deep Learning Computer Vision Methods | |
| Kumar et al. | Feature selection approach in animal classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |