KR102466215B1 - Nose pattern recognition system and method based on deep learning - Google Patents
Nose pattern recognition system and method based on deep learning Download PDFInfo
- Publication number
- KR102466215B1 KR102466215B1 KR1020180084266A KR20180084266A KR102466215B1 KR 102466215 B1 KR102466215 B1 KR 102466215B1 KR 1020180084266 A KR1020180084266 A KR 1020180084266A KR 20180084266 A KR20180084266 A KR 20180084266A KR 102466215 B1 KR102466215 B1 KR 102466215B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- feature point
- inscription
- unit
- species
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000013135 deep learning Methods 0.000 title claims abstract description 40
- 238000003909 pattern recognition Methods 0.000 title 1
- 241000894007 species Species 0.000 claims abstract description 113
- 241001465754 Metazoa Species 0.000 claims abstract description 97
- 241000282465 Canis Species 0.000 claims abstract description 51
- 238000007781 pre-processing Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 18
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 abstract description 8
- 241000282472 Canis lupus familiaris Species 0.000 description 38
- 239000000284 extract Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 딥러닝 기반 비문 인식 시스템 및 방법에 관한 것으로서, 개과에 속하는 동물의 얼굴 이미지를 입력하고, 입력된 얼굴 이미지로부터 비문 특징점 이미지를 추출하고, 추출된 비문 특징점 이미지와 제 1 데이터베이스부에 저장된 복수 개의 이미지와 비교를 통해 동물의 세부 종을 판단하고, 판단된 세부 종 결과를 출력할 수 있다. 이를 통해 본 발명은 개과에 속하는 동물의 종, 세부 종 등의 구분을 통해 동물이 버려지는 것을 예방하고, 유기된 동물을 찾을 수 있는 효과를 가진다. 또한 본 발명은 1차 종 판단, 2차 세부 종 판단 모두 딥러닝을 기반으로 종을 판단함으로써, 보다 객관적이면서 정확하고 빠르게 인식할 수 있는 효과를 가진다.The present invention relates to a deep learning-based inscription recognition system and method, which includes inputting a face image of an animal belonging to the canine family, extracting an inscription feature point image from the input face image, and storing the extracted inscription feature point image and a first database unit It is possible to determine the detailed species of an animal through comparison with a plurality of images, and output the result of the determined detailed species. Through this, the present invention has an effect of preventing animals from being abandoned and finding abandoned animals through classification of animal species and detailed species belonging to the canine family. In addition, the present invention determines the species based on deep learning for both the primary species determination and the secondary detailed species determination, thereby having an effect of more objective, accurate and quick recognition.
Description
본 발명은 비문 인식에 관한 것으로, 더욱 상세하게는 딥러닝을 기반으로 개과에 속하는 동물의 비문을 인식하여 세부 종을 판단하는 딥러닝 기반 비문 인식 시스템 및 방법에 관한 것이다.The present invention relates to inscription recognition, and more particularly, to a deep learning-based inscription recognition system and method for determining a detailed species by recognizing an inscription of an animal belonging to the canine family based on deep learning.
인간은 신분을 검증하고 확인하는 방법으로 생체인증(Biometrics) 분야를 사용하고 있고, 이는 이미 오랜 기간 동안 발전해왔다. 이러한 생체인증 방식으로는 지문인식, 홍채인식, 정맥인식(Vein recognition) 등이 있다. Humans are using the field of biometrics as a way to verify and confirm identity, which has already developed for a long time. Such biometric authentication methods include fingerprint recognition, iris recognition, vein recognition, and the like.
이와 관련하여 인간의 지문은 사람마다 모두 다르듯이, 개과에 속하는 동물들의 비문(코 무늬)은 동물마다 각각 다르다. 이에 이를 이용하여 동물의 종 확인 또는 주인이 찾고자 하는 동물을 확인할 수 있는 방법은 동물의 체계적인 관리를 가능하게 할 수 있다.In this regard, just as human fingerprints are different for each person, the inscriptions (nose patterns) of animals belonging to the canine family are different for each animal. Therefore, a method of identifying the species of an animal or identifying an animal that the owner wants to find by using this can enable systematic management of animals.
다만 일반적인 사람의 지문인식 방법과, 동물의 비문인식 방법은 구체적인 인식방식 등의 차이가 있기 때문에 이를 위한 새로운 모델을 마련할 필요성이 있다.However, since there is a difference between a general human fingerprint recognition method and an animal print recognition method in a specific recognition method, there is a need to prepare a new model for this.
이에 본 발명은 상기와 같은 제반 사항을 고려하여 제안된 것으로, 개과에 속하는 동물의 종, 세부 종 등의 구분을 통해 동물이 버려지는 것을 예방하고, 유기된 동물을 찾을 수 있도록 하는 것을 목적으로 한다.Therefore, the present invention has been proposed in consideration of the above matters, and the purpose of the present invention is to prevent animals from being abandoned and to find abandoned animals through classification of animal species and detailed species belonging to the canine family. .
또한 본 발명은 개과에 속하는 각 동물의 비문 특성에 따라 영상 처리에 따른 파라미터를 용이하게 변경함으로써, 각 동물의 비문 특성에 따른 최적화된 이미지 처리를 구현하는 것을 목적으로 한다.In addition, an object of the present invention is to implement optimized image processing according to the print characteristics of each animal by easily changing parameters according to image processing according to the print characteristics of each animal belonging to the canine family.
또한 본 발명은 개과에 속하는 동물의 비문에서 망 형태의 이미지를 효과적으로 추출하는 것을 목적으로 한다.Another object of the present invention is to effectively extract a mesh-type image from the inscription of an animal belonging to the canine family.
또한 본 발명은 개과에 속하는 동물의 비문으로부터 보다 안정적인 특징점을 추출하는 것을 목적으로 한다.Another object of the present invention is to extract more stable feature points from the prints of animals belonging to the canine family.
또한 본 발명은 1차 종 판단, 2차 세부 종 판단을 통해 에러를 최소화하며 구별 모호성을 방지하는 것을 목적으로 한다. In addition, an object of the present invention is to minimize errors and prevent discrimination ambiguity through primary species determination and secondary detailed species determination.
또한 본 발명은 1차 종 판단, 2차 세부 종 판단 모두 딥러닝을 기반으로 종을 판단함으로써, 보다 객관적이면서 정확하고 빠르게 인식하는 것을 목적으로 한다.In addition, an object of the present invention is to recognize the species more objectively, accurately and quickly by determining the species based on deep learning for both the primary species determination and the secondary detailed species determination.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해할 수 있을 것이다.The objects of the present invention are not limited to the objects mentioned above, and other objects not mentioned will be clearly understood by those skilled in the art from the description below.
상기와 같은 목적을 달성하기 위하여 본 발명의 기술적 사상에 의한 딥러닝 기반 비문 인식 시스템은 개과에 속하는 동물의 얼굴 이미지를 입력하는 이미지 입력부, 입력된 얼굴 이미지로부터 비문 특징점 이미지를 추출하는 비문 특징점 이미지 추출부, 추출된 비문 특징점 이미지와 제 1 데이터베이스부에 저장된 복수 개의 이미지와 비교를 통해 동물의 세부 종을 판단하는 세부 종 판단부, 판단된 세부 종 결과를 출력하는 세부 종 결과 출력부를 포함할 수 있다.In order to achieve the above object, the deep learning-based inscription recognition system according to the technical idea of the present invention includes an image input unit for inputting a face image of an animal belonging to the canine family, and inscription feature point image extraction for extracting an inscription feature point image from the input face image. It may include a detailed species determination unit for determining a detailed species of an animal through comparison between the extracted epitaph feature point image and a plurality of images stored in the first database unit, and a detailed species result output unit for outputting the determined detailed species result. .
이 때 비문 특징점 이미지 추출부는 입력된 얼굴 이미지 중 관심영역(ROI: Region Of Interest)에 해당하는 이미지를 설정한 후, 이를 전처리하는 전처리부, 전처리된 관심영역 이미지를 필터링하여 패턴 값이 추출된 필터 이미지를 출력하는 필터 이미지 출력부, 출력된 필터 이미지로부터 특징점을 추출하여 비문 특징점 이미지를 출력하는 특징점 이미지 출력부를 포함할 수 있다.At this time, the inscription feature point image extraction unit sets an image corresponding to the region of interest (ROI) among the input face images, and then the preprocessing unit preprocesses it, and the filter extracts the pattern value by filtering the preprocessed region of interest image. It may include a filter image output unit that outputs an image, and a feature point image output unit that extracts feature points from the output filter image and outputs an inscription feature point image.
특징점 이미지 출력부에서 추출된 특징점은 적어도 하나 이상의 비문 특징점 위치, 스케일 및 방향을 포함할 수 있다.The feature points extracted from the feature point image output unit may include at least one inscription feature point position, scale, and direction.
전처리부는 관심영역 이미지의 설정을 위해 입력된 얼굴 이미지에 적응 임계(Adaptive thresholding) 알고리즘을 적용할 수 있다.The pre-processing unit may apply an adaptive thresholding algorithm to the input face image to set the ROI image.
필터 이미지 출력부는 필터 이미지의 출력을 위해 전처리된 관심영역 이미지에 가보 필터(Gabor filter)를 적용할 수 있다.The filter image output unit may apply a Gabor filter to the preprocessed ROI image to output the filter image.
특징점 이미지 출력부는 특징점의 추출을 위해 출력된 필터 이미지에 시프트 알고리즘(Shift algorithm)을 적용할 수 있다.The feature point image output unit may apply a shift algorithm to the output filter image to extract feature points.
세부 종 판단부는 추출된 특징점과 제 1 데이터베이스부에 저장된 복수 개 이미지의 특징점 간 유클리드 거리 값(Euclidean distance, L2-Norm)을 각각 산출하여 비교하는 이미지 비교부, 제 1 데이터베이스부에 저장된 복수 개 이미지의 특징점 중 산출된 유클리드 거리 값이 가장 작은 이미지의 특징점을 매칭 특징점으로 선정하는 매칭 특징점 선정부를 포함할 수 있다.The detailed species determination unit calculates and compares the Euclidean distance (L2-Norm) between the extracted feature points and the feature points of the plurality of images stored in the first database unit, respectively, an image comparison unit for calculating and comparing the plurality of images stored in the first database unit A matching feature point selector may be included that selects a feature point of an image having the smallest calculated Euclidean distance value among feature points of , as a matching feature point.
매칭 특징점 선정부는 선정된 매칭 특징점 외에 산출된 유클리드 거리 값이 작은 순으로 매칭 특징점을 추가로 더 선정한 후, 다음 수학식으로 정의되는 매칭 판단식을 이용하여 선정된 매칭 특징점의 매칭 신뢰도를 판단할 수 있다.The matching feature point selector selects additional matching feature points in order of decreasing Euclidean distance values in addition to the selected matching feature points, and then determines the matching reliability of the selected matching feature points using a matching determination formula defined by the following equation. have.
<수학식><mathematical expression>
E2 / E1 > (임계 값)E2/E1 > (threshold)
(E1 : 선정된 매칭 특징점, E2 : 추가로 선정된 매칭 특징점)(E1: selected matching feature point, E2: additionally selected matching feature point)
이미지 입력부로부터 입력된 얼굴 이미지와 제 2 데이터베이스부에 저장된 이미지와의 비교를 통해 동물의 종을 판단하는 종 판단부를 더 포함할 수 있다.The animal may further include a species determination unit for determining the species of the animal by comparing the face image input from the image input unit with the image stored in the second database unit.
제 1 데이터베이스부는 동물의 세부 종을 판단할 수 있는 표준화된 데이터로 수집된 복수 개의 변이(Variation) 이미지를 포함할 수 있다.The first database unit may include a plurality of variation images collected as standardized data capable of determining detailed species of animals.
제 2 데이터베이스부는 동물의 종을 판단할 수 있는 표준화된 데이터로 수집된 복수 개의 종(Breed) 이미지를 포함할 수 있다.The second database unit may include a plurality of breed images collected as standardized data for determining the species of animals.
상기와 같은 목적을 달성하기 위하여 본 발명의 기술적 사상에 의한 딥러닝 기반 비문 인식 방법은 이미지 입력부에서 개과에 속하는 동물의 얼굴 이미지를 입력받는 이미지 입력 단계, 비문 특징점 이미지 추출부에서 입력된 얼굴 이미지로부터 비문 특징점 이미지를 추출하는 비문 특징점 이미지 추출 단계, 세부 종 판단부에서 추출된 비문 특징점 이미지와 제 1 데이터베이스부에 저장된 복수 개의 이미지와 비교를 통해 동물의 세부 종을 판단하는 세부 종 판단 단계, 세부 종 결과 출력부에서 판단된 세부 종 결과를 출력하는 세부 종 결과 출력 단계를 포함할 수 있다.In order to achieve the above object, the deep learning-based inscription recognition method according to the technical idea of the present invention includes an image input step of receiving a face image of an animal belonging to the canine family in an image input unit, and a face image input in an inscription feature point image extraction unit. An inscription feature point image extraction step of extracting an inscription feature point image, a detailed species determination step of determining a detailed species of an animal by comparing the inscription feature point image extracted from the detailed species determination unit with a plurality of images stored in the first database unit, and detailed species A detailed species result output step of outputting the detailed species result determined by the result output unit may be included.
비문 특징점 이미지 추출 단계는 전처리부에서 입력된 얼굴 이미지 중 관심영역(ROI: Region Of Interest)에 해당하는 이미지를 설정한 후, 이를 전처리하는 전처리 단계, 필터 이미지 출력부에서 전처리된 관심영역 이미지를 필터링하여 패턴 값이 추출된 필터 이미지를 출력하는 필터 이미지 출력 단계, 특징점 이미지 출력부에서 출력된 필터 이미지로부터 특징점을 추출하여 비문 특징점 이미지를 출력하는 특징점 이미지 출력 단계를 포함할 수 있다.In the inscription feature point image extraction step, a preprocessing step of setting an image corresponding to a region of interest (ROI) among the input face images in the preprocessing unit, and then filtering the preprocessed region of interest image in the filter image output unit. and a filter image output step of outputting a filter image from which the pattern value is extracted, and a feature point image output step of extracting feature points from the filter image output from the feature point image output unit and outputting an inscription feature point image.
특징점 이미지 출력 단계에서 추출된 특징점은 적어도 하나 이상의 비문 특징점 위치, 스케일 및 방향을 포함할 수 있다.The feature points extracted in the feature point image output step may include at least one inscription feature point position, scale, and direction.
전처리 단계는 관심영역 이미지의 설정을 위해 입력된 얼굴 이미지에 적응 임계(Adaptive thresholding) 알고리즘을 적용할 수 있다.In the preprocessing step, an adaptive thresholding algorithm may be applied to the input face image to set the ROI image.
필터 이미지 출력 단계는 필터 이미지의 출력을 위해 전처리된 관심영역 이미지에 가보 필터(Gabor filter)를 적용할 수 있다.In the step of outputting the filter image, a Gabor filter may be applied to the preprocessed ROI image to output the filter image.
특징점 이미지 출력 단계는 특징점의 추출을 위해 출력된 필터 이미지에 시프트 알고리즘(Shift algorithm)을 적용할 수 있다.In the step of outputting the feature point image, a shift algorithm may be applied to the output filter image to extract the feature point.
세부 종 판단 단계는 이미지 비교부에서 추출된 비문 특징점과 제 1 데이터베이스부에 저장된 복수 개 이미지의 특징점 간 유클리드 거리 값(Euclidean distance, L2-Norm)을 각각 산출하여 비교하는 이미지 비교 단계, 매칭 특징점 선정부에서 제 1 데이터베이스부에 저장된 복수 개 이미지의 특징점 중 산출된 유클리드 거리 값이 가장 작은 이미지의 특징점을 매칭 특징점으로 선정하는 매칭 특징점 선정 단계를 포함할 수 있다.The detailed species determination step is an image comparison step of calculating and comparing Euclidean distance values (L2-Norm) between the inscription feature points extracted from the image comparison unit and the feature points of a plurality of images stored in the first database unit, respectively, and matching feature point lines. The government may include a matching feature point selection step of selecting, as a matching feature point, a feature point of an image having the smallest calculated Euclidean distance value among feature points of a plurality of images stored in the first database unit.
매칭 특징점 선정 단계는 선정된 매칭 특징점 외에 산출된 유클리드 거리 값이 작은 순으로 매칭 특징점을 추가로 더 선정한 후, 다음 수학식으로 정의되는 매칭 판단식을 이용하여 선정된 매칭 특징점의 매칭 신뢰도를 판단할 수 있다.In the step of selecting matching feature points, in addition to the selected matching feature points, matching feature points are additionally selected in the order of the calculated Euclidean distance value in order of decreasing value, and then the matching reliability of the selected matching feature points is determined using a matching determination formula defined by the following equation. can
<수학식><mathematical expression>
E2 / E1 > (임계 값)E2/E1 > (threshold)
(E1 : 선정된 매칭 특징점, E2 : 추가로 선정된 매칭 특징점)(E1: selected matching feature point, E2: additionally selected matching feature point)
종 판단부에서 이미지 입력 단계로부터 입력된 얼굴 이미지와 제 2 데이터베이스부에 저장된 이미지와의 비교를 통해 상기 동물의 종을 판단하는 종 판단 단계를 더 포함할 수 있다.The method may further include a species determination step of determining the species of the animal by comparing the face image input from the image input step in the species determination unit with the image stored in the second database unit.
제 1 데이터베이스부는 동물의 세부 종을 판단할 수 있는 표준화된 데이터로 수집된 복수 개의 변이(Variation) 이미지를 포함할 수 있다.The first database unit may include a plurality of variation images collected as standardized data capable of determining detailed species of animals.
제 2 데이터베이스부는 동물의 종을 판단할 수 있는 표준화된 데이터로 수집된 복수 개의 종(Breed) 이미지를 포함할 수 있다.The second database unit may include a plurality of breed images collected as standardized data for determining the species of animals.
이상에서 설명한 바와 같은 딥러닝 기반 비문 인식 시스템 및 방법에 따르면, According to the deep learning-based inscription recognition system and method as described above,
첫째, 개과에 속하는 동물의 종, 세부 종 등의 구분을 통해 동물이 버려지는 것을 예방하고, 유기된 동물을 찾을 수 있는 효과를 가진다.First, it has the effect of preventing animals from being abandoned and finding abandoned animals by classifying animal species and detailed species belonging to the canine family.
둘째, 개과에 속하는 각 동물의 비문 특성에 따라 영상 처리에 따른 파라미터를 용이하게 변경함으로써, 각 동물의 비문 특성에 따른 최적화된 이미지 처리를 구현할 수 있는 효과를 가진다.Second, by easily changing parameters according to image processing according to the print characteristics of each animal belonging to the canine family, it has an effect of implementing optimized image processing according to the print characteristics of each animal.
셋째, 개과에 속하는 동물의 비문에서 망 형태의 이미지를 효과적으로 추출할 수 있는 효과를 가진다.Third, it has the effect of effectively extracting a net-type image from the inscription of an animal belonging to the canine family.
넷째, 개과에 속하는 동물의 비문으로부터 보다 안정적인 특징점을 추출할 수 있는 효과를 가진다.Fourth, it has the effect of extracting more stable feature points from the inscriptions of animals belonging to the canine family.
다섯째, 1차 종 판단, 2차 세부 종 판단을 통해 에러를 최소화하며 구별 모호성을 방지할 수 있는 효과를 가진다. Fifth, it has the effect of minimizing errors and preventing distinction ambiguity through primary species determination and secondary detailed species determination.
여섯째, 1차 종 판단, 2차 세부 종 판단 모두 딥러닝을 기반으로 종을 판단함으로써, 보다 객관적이면서 정확하고 빠르게 인식할 수 있는 효과를 가진다.Sixth, both the first species judgment and the second detailed species judgment judge species based on deep learning, which has the effect of more objective, accurate, and quick recognition.
도 1은 본 발명의 제 1 실시예에 따른 딥러닝 기반 비문 인식 시스템을 나타낸 구성도.
도 2는 본 발명의 제 2 실시예에 따른 딥러닝 기반 비문 인식 시스템을 나타낸 구성도.
도 3은 본 발명의 제 1 실시예에 따른 딥러닝 기반 비문 인식 방법을 나타낸 순서도.
도 4는 본 발명의 제 2 실시예에 따른 딥러닝 기반 비문 인식 방법을 나타낸 순서도.
도 5는 본 발명의 실시예에 따른 비문 특징점 이미지 추출 단계(S300)를 나타낸 순서도.
도 6은 본 발명의 실시예에 따른 세부 종 판단 단계(S400)를 나타낸 순서도.
도 7은 본 발명의 실시예로서 강아지(또는 개)의 비문 특징점을 추출하는 과정을 나타낸 도면.
도 8은 본 발명의 실시예로서 강아지(또는 개)의 비문 선의 굵기(8~15[pixel])에 따른 가보 필터링(Gabor filtering) 이미지 결과를 나타낸 도면.
도 9는 본 발명의 실시예로서 가보 필터의 평행선 방향( 
도 10은 본 발명의 실시예로서 강아지(또는 개)의 비문 매칭 과정을 나타낸 도면.
도 11은 본 발명의 실시예로서 5마리 강아지(또는 개)에 대한 점수 비교를 나타낸 그래프.
도 12는 본 발명의 실시예로서 시프트(Shift), 서프(Surf), 오브(Orb) 매칭을 비교한 도면.
도 13은 본 발명의 실시예로서 매칭 방법에 따른 정확도 및 시간 결과를 나타낸 그래프. 1 is a configuration diagram showing a deep learning-based inscription recognition system according to a first embodiment of the present invention.
Figure 2 is a configuration diagram showing a deep learning-based inscription recognition system according to a second embodiment of the present invention.
3 is a flowchart illustrating a deep learning-based inscription recognition method according to a first embodiment of the present invention.
4 is a flowchart illustrating a deep learning-based inscription recognition method according to a second embodiment of the present invention.
Figure 5 is a flow chart showing the inscription feature point image extraction step (S300) according to an embodiment of the present invention.
6 is a flowchart illustrating a detailed species determination step (S400) according to an embodiment of the present invention.
7 is a view showing a process of extracting the characteristic points of the inscription of a puppy (or dog) as an embodiment of the present invention.
8 is a diagram showing the results of Gabor filtering according to the thickness (8 to 15 [pixel]) of the inscription line of a puppy (or dog) as an embodiment of the present invention.
9 is a parallel line direction of a Gabor filter as an embodiment of the present invention (
10 is a view showing a puppy (or dog) inscription matching process as an embodiment of the present invention.
11 is a graph showing a score comparison for 5 puppies (or dogs) as an embodiment of the present invention.
12 is a diagram comparing shift, surf, and orb matching as an embodiment of the present invention.
13 is a graph showing accuracy and time results according to a matching method according to an embodiment of the present invention.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다. 본 발명의 특징 및 이점들은 첨부 도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명의 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다. 또한 본 발명과 관련된 공지 기능 및 그 구성에 대한 구체적인 설명은 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 구체적인 설명을 생략하였음에 유의해야할 것이다.In order to fully understand the present invention and its operational advantages and objectives achieved by the practice of the present invention, reference should be made to the accompanying drawings illustrating preferred embodiments of the present invention and the contents described in the accompanying drawings. Features and advantages of the present invention will become more apparent from the following detailed description taken in conjunction with the accompanying drawings. Prior to this, the terms or words used in this specification and claims do not reflect the technical spirit of the present invention based on the principle that the inventor can appropriately define the concept of terms in order to explain his or her invention in the best way. It should be interpreted in accordance with the meaning and concept. In addition, it should be noted that the detailed description of known functions and their configurations related to the present invention is omitted when it is determined that the subject matter of the present invention may be unnecessarily obscured.
도 1은 본 발명의 제 1 실시예에 따른 딥러닝 기반 비문 인식 시스템을 나타낸 구성도이고, 도 2는 본 발명의 제 2 실시예에 따른 딥러닝 기반 비문 인식 시스템을 나타낸 구성도이다.1 is a configuration diagram showing a deep learning-based inscription recognition system according to a first embodiment of the present invention, and FIG. 2 is a configuration diagram showing a deep learning-based inscription recognition system according to a second embodiment of the present invention.
도 1 및 도 2를 참조하면, 딥러닝 기반 비문 인식 시스템은 이미지 입력부(100), 종 판단부(200), 비문 특징점 이미지 추출부(300), 세부 종 판단부(400), 세부 종 결과 출력부(500), 제 1 데이터베이스부(D1) 및 제 2 데이터베이스부(D2)를 포함할 수 있다.1 and 2, the deep learning-based inscription recognition system includes an
이미지 입력부(100)는 개과에 속하는 동물의 얼굴 이미지를 입력할 수 있다. 이는 개과에 속하는 동물의 종 또는 세부 종을 판단하기 위해, 판단하고자 하는 이미지를 입력하기 위한 구성요소라 할 수 있다. 이 때 일반적으로 개과에 속하는 동물은 강아지, 개 등이 포함될 수 있다.The
종 판단부(200)는 이미지 입력부(100)로부터 입력된 얼굴 이미지와 제 2 데이터베이스부(D2)에 저장된 이미지와의 비교를 통해 개과에 속하는 동물의 종을 판단할 수 있다. 이는 개과에 속하는 동물의 세부 종을 판단하기 전에 1차적으로 후보군을 선별하기 위한 구성요소라 할 수 있다. 이 때 종 판단부(200)에서의 ‘종’은 동물의 색깔 정보 등이 포함될 수 있으며, 동물이 강아지(또는 개)라 하였을 때는 견종이 포함될 수 있다. 종 판단부(200)는 1차적으로 선별하고자 하는 후보군의 양, 특성 등에 따라 사용자가 용이하게 변경할 수 있다. 도 1에 도시된 바와 같이 종 판단부(200)는 사용자의 딥러닝 환경 구축 등에 따라 1차적인 종 판단 없이 세부 종만 판단하거나, 도 2에 도시된 바와 같이 1차적으로 종을 판단 후 2차적으로 세부 종을 판단할 수 있다. The
한편 제 2 데이터베이스부(D2)는 동물의 종을 판단할 수 있는 표준화된 데이터로 수집된 복수 개의 종(Breed) 이미지를 포함하는 저장매체라 할 수 있다. 예를 들어 종을 판단하고자 하는 동물이 강아지(또는 개)라 하였을 때는 시베리안 허스키종 이미지 100장, 코카스파니엘 이미지 100장 등의 견종 이미지가 포함될 수 있다.Meanwhile, the second database unit D2 may be a storage medium including a plurality of breed images collected as standardized data capable of determining the species of animals. For example, when the animal to be determined is a puppy (or dog), dog breed images such as 100 Siberian husky images and 100 cocker spaniel images may be included.
비문 특징점 이미지 추출부(300)는 이미지 입력부(100)로부터 입력된 얼굴 이미지로부터 비문 특징점 이미지를 추출할 수 있다. 이 때 비문은 개과에 속하는 각 동물의 코 무늬라 할 수 있다. 이는 개과에 속하는 각 동물의 비문 특성에 따라 이미지를 최적화하여 비문 특징점 이미지를 추출하기 위한 구성요소라 할 수 있다. 이를 위해 비문 특징점 이미지 추출부(300)는 전처리부(310), 필터 이미지 출력부(330) 및 특징점 이미지 출력부(350)를 포함할 수 있다.The epitaph feature
전처리부(310)는 이미지 입력부(100)로부터 입력된 얼굴 이미지 중 관심영역(ROI: Region Of Interest)에 해당하는 이미지를 설정한 후, 이를 전처리할 수 있다. 이는 얼굴 이미지 중 관심영역에 해당하는 데이터를 뽑기 위한 것으로서 눈, 코, 입 등 다양한 데이터들 중 필요한 영역인 ‘코’만을 추출하여 인식 속도 및 정확도를 높일 수 있는 구성요소라 할 수 있다. 이를 위해 전처리부(310)는 관심영역에 해당하는 이미지의 설정을 위해 이미지 입력부(100)로부터 입력된 얼굴 이미지에 적응 임계(Adaptive thresholding) 알고리즘을 적용할 수 있다. 그 이유는 적응 임계 알고리즘이 개과에 속하는 동물의 비문에서 망 형태의 이미지를 효과적으로 추출할 수 있기 때문이다. 개과에 속하는 동물의 코 패턴은 돌출된 부분과 움푹 들어간 부분으로 나눌 수 있는데, 이 때 움푹 들어간 부분을 연결하게 되면 망 형태의 이미지를 얻을 수 있다.The
필터 이미지 출력부(330)는 전처리부(310)로부터 전처리된 관심영역 이미지를 필터링하여 패턴 값이 추출된 필터 이미지를 출력할 수 있다. 이는 개과에 속하는 동물의 비문 선의 굵기에 따라 최적화된 이미지 처리를 구현할 수 있도록 하는 구성요소라 할 수 있다. 이를 위해 필터 이미지 출력부(330)는 필터 이미지의 출력을 위해 전처리부(310)로부터 전처리된 관심영역 이미지에 가보 필터(Gabor filter)를 적용할 수 있다. 그 이유는 가보 필터가 파동을 가지고 방향성을 통해 사용자가 원하는 두께와 방향의 연속적인 데이터를 출력할 수 있기 때문이다. 이러한 이유로 가보 필터는 파라미터를 변경하면서 강아지 코에 최적화시키기 위한 필터로서, 개과에 속하는 동물의 비문 선을 보다 효과적으로 추출할 수 있다.The filter
특징점 이미지 출력부(350)는 필터 이미지 출력부(330)로부터 출력된 필터 이미지로부터 특징점을 추출하여 비문 특징점 이미지를 출력할 수 있다. 이는 개과에 속하는 각 동물의 비문 특성에 따라 비문 특징점을 추출하기 위한 구성요소라 할 수 있다. 이를 위해 특징점 이미지 출력부(350)는 특징점 추출을 위해 필터 이미지 출력부(330)로부터 출력된 필터 이미지에 시프트 알고리즘(Shift algorithm)을 적용할 수 있다. 그 이유는 시프트 알고리즘이 개과에 속하는 동물의 비문으로부터 보다 안정적인 특징점을 추출할 수 있기 때문이다. 이 때 추출된 특징점은 적어도 하나 이상의 비문 특징점 위치, 스케일 및 방향을 포함하여 보다 안정적으로 추출된 특징점일 수 있다.The feature point
세부 종 판단부(400)는 특징점 이미지 출력부(350)로부터 추출된 특징점과 제 1 데이터베이스부(D1)에 저장된 복수 개의 이미지와 비교를 통해 개과에 속하는 동물의 세부 종을 판단할 수 있다. 이는 개과에 속하는 동물의 비문이 각 동물마다 다르다는 특성을 이용하여 세부 종을 판단하기 위한 구성요소라 할 수 있다. 이를 위해 세부 종 판단부(400)는 이미지 비교부(410) 및 매칭 특징점 선정부(430)를 포함할 수 있다.The detailed
한편 제 1 데이터베이스부(D1)는 동물의 세부 종을 판단할 수 있는 표준화된 데이터로 수집된 복수 개의 변이(Variation) 이미지를 포함하는 저장매체라 할 수 있다. 그 이유는 같은 종의 동물이라 하더라도 각 동물마다 다양한 크기, 색깔 등 서로 다른 특성을 가질 수 있기 때문이다. 예를 들어, 개과에 속하는 동물이 강아지(또는 개)일 경우, 제 2 데이터베이스부(D2)에서는 강아지의 종인 푸들, 시베리안허스키, 코카스파니엘 등을 판단하기 위한 데이터가 포함될 수 있다. 그리고 제 1데이터베이스부(D1)에서는 강아지가 ‘푸들’ 종인 것으로 판단되었을 때, 해당 ‘푸들’의 주인이 누구인지 또는 해당 ‘푸들’의 이름이 무엇인지 등의 세부 종을 판단하기 위한 데이터가 포함될 수 있다.Meanwhile, the first database unit D1 may be a storage medium including a plurality of variation images collected as standardized data capable of determining detailed species of animals. The reason is that even animals of the same species can have different characteristics, such as different sizes and colors. For example, when an animal belonging to the canine family is a puppy (or dog), the second database unit D2 may include data for determining the dog's species, such as a poodle, a Siberian husky, or a cocker spaniel. And, when the puppy is determined to be a 'poodle' in the first database unit D1, data for determining the detailed species such as who the owner of the corresponding 'poodle' or what the name of the corresponding 'poodle' is included will be included. can
이미지 비교부(410)는 특징점 이미지 출력부(350)로부터 추출된 특징점과 제 1 데이터베이스부(D1)에 저장된 복수 개 이미지의 특징점 간 유클리드 거리 값(Euclidean distance, L2-Norm)을 각각 산출하여 비교할 수 있다. 이는 추출된 특징점의 기술자(Descriptor)(vector)와 제 1 데이터베이스부(D1)에 저장된 복수 개 이미지의 특징점의 기술자 비교를 위해 객관적인 수치값을 산출하기 위한 구성요소라 할 수 있다. 이 때 추출된 특징점의 개수가 N개, 제 1 데이터베이스부(D1)에 저장된 복수 개 이미지의 특징점의 개수가 M개인 경우, 총 N X M번의 비교를 할 수 있다.The
매칭 특징점 선정부(430)는 제 1 데이터베이스부(D1)에 저장된 복수 개 이미지의 특징점 중 이미지 비교부(410)로부터 산출된 유클리드 거리 값이 가장 작은 이미지의 특징점을 매칭 특징점으로 선정할 수 있다. 이는 비슷한 패턴을 보이는 비교대상들의 유클리드 거리 값은 작다는 유클리드 거리 값의 특징을 이용한 구성요소라 할 수 있다.The matching feature
한편 매칭 특징점 선정부(430)는 선정된 매칭 특징점 외에 이미지 비교부(410)로부터 산출된 유클리드 거리 값이 작은 순으로 매칭 특징점을 추가로 더 선정한 후, 선정된 매칭 특징점의 매칭 신뢰도를 판단할 수 있다. 이 때 매칭 신뢰도 판단은 하기 수학식으로 정의되는 매칭 판단식을 이용할 수 있다.Meanwhile, the matching feature
<수학식><mathematical expression>
E2 / E1 > (임계 값)E2/E1 > (threshold)
(E1 : 선정된 매칭 특징점, E2 : 추가로 선정된 매칭 특징점)(E1: selected matching feature point, E2: additionally selected matching feature point)
도 1 및 도 2에 도시된 인식 시스템이 딥러닝을 기반으로 비문을 인식하는 방법은 도 3 내지 도 6을 참조하여 설명할 수 있다. 도 3은 본 발명의 제 1 실시예에 따른 딥러닝 기반 비문 인식 방법을 나타낸 순서도이고, 도 4는 본 발명의 제 2 실시예에 따른 딥러닝 기반 비문 인식 방법을 나타낸 순서도이고, 도 5는 본 발명의 실시예에 따른 비문 특징점 이미지 추출 단계(S300)를 나타낸 순서도이고, 도 6은 본 발명의 실시예에 따른 세부 종 판단 단계(S400)를 나타낸 순서도이다.A method of recognizing an inscription based on deep learning by the recognition system shown in FIGS. 1 and 2 can be described with reference to FIGS. 3 to 6 . 3 is a flowchart showing a deep learning-based inscription recognition method according to a first embodiment of the present invention, FIG. 4 is a flowchart showing a deep learning-based inscription recognition method according to a second embodiment of the present invention, and FIG. It is a flowchart showing the inscription feature point image extraction step (S300) according to an embodiment of the present invention, and FIG. 6 is a flowchart showing the detailed species determination step (S400) according to an embodiment of the present invention.
도 3 및 도 4를 참조하면, 딥러닝 기반 비문 인식 방법은 이미지 입력 단계(S100), 종 판단 단계(S200), 비문 특징점 이미지 추출 단계(S300), 세부 종 판단 단계(S400) 및 세부 종 결과 출력 단계(S500)를 포함할 수 있다.3 and 4, the deep learning-based inscription recognition method includes an image input step (S100), species determination step (S200), inscription feature point image extraction step (S300), detailed species determination step (S400), and detailed species results. An output step (S500) may be included.
먼저 이미지 입력부(100)에서는 개과에 속하는 동물의 얼굴 이미지를 입력할 수 있다(S100). 이는 개과에 속하는 동물의 종 또는 세부 종을 판단하기 위해, 판단하고자 하는 이미지를 입력하기 위한 단계라 할 수 있다. 이 때 일반적으로 개과에 속하는 동물은 강아지, 개 등이 포함될 수 있다.First, the
종 판단부(200)에서는 S100으로부터 입력된 얼굴 이미지와 제 2 데이터베이스부(D2)에 저장된 이미지와의 비교를 통해 개과에 속하는 동물의 종을 판단할 수 있다(S200). 이는 개과에 속하는 동물의 세부 종을 판단하기 전에 1차적으로 후보군을 선별하기 위한 단계라 할 수 있다. 이 때 S200에서의 ‘종’은 동물의 색깔 정보 등이 포함될 수 있으며, 동물이 강아지(또는 개)라 하였을 때는 견종이 포함될 수 있다. S200은 1차적으로 선별하고자 하는 후보군의 양, 특성 등에 따라 사용자가 용이하게 변경할 수 있다. 도 3에 도시된 바와 같이 S200은 사용자의 딥러닝 환경 구축 등에 따라 1차적인 종 판단 없이 세부 종만 판단하거나, 도 4에 도시된 바와 같이 1차적으로 종을 판단 후 2차적으로 세부 종을 판단할 수 있다.The
한편 제 2 데이터베이스부(D2)는 동물의 종을 판단할 수 있는 표준화된 데이터로 수집된 복수 개의 종(Breed) 이미지를 포함하는 저장매체라 할 수 있다. 예를 들어 종을 판단하고자 하는 동물이 강아지(또는 개)라 하였을 때는 시베리안 허스키종 이미지 100장, 코카스파니엘 이미지 100장 등의 견종 이미지가 포함될 수 있다.Meanwhile, the second database unit D2 may be a storage medium including a plurality of breed images collected as standardized data capable of determining the species of animals. For example, when the animal to be determined is a puppy (or dog), dog breed images such as 100 Siberian husky images and 100 cocker spaniel images may be included.
비문 특징점 이미지 추출부(300)에서는 S100으로부터 입력된 얼굴 이미지로부터 비문 특징점 이미지를 추출할 수 있다(S300). 이 때 비문은 개과에 속하는 각 동물의 코 무늬라 할 수 있다. 이는 개과에 속하는 각 동물의 비문 특성에 따라 이미지를 최적화하여 비문 특징점 이미지를 추출하기 위한 단계라 할 수 있다. The inscription feature point
한편 도 5에 도시된 바와 같이, S300에서는 전처리 단계(S310), 필터 이미지 출력 단계(S330) 및 특징점 이미지 출력 단계(S350)를 포함할 수 있다.Meanwhile, as shown in FIG. 5 , S300 may include a preprocessing step (S310), a filter image output step (S330), and a feature point image output step (S350).
전처리부(310)에서는 S100으로부터 입력된 얼굴 이미지 중 관심영역(ROI: Region Of Interest)에 해당하는 이미지를 설정한 후, 이를 전처리할 수 있다(S310). 이는 얼굴 이미지 중 관심영역에 해당하는 데이터를 뽑기 위한 것으로서 눈, 코, 입 등 다양한 데이터들 중 필요한 영역인 ‘코’만을 추출하여 인식 속도 및 정확도를 높일 수 있는 단계라 할 수 있다. 이를 위해 S310에서는 관심영역에 해당하는 이미지의 설정을 위해 S100으로부터 입력된 얼굴 이미지에 적응 임계(Adaptive thresholding) 알고리즘을 적용할 수 있다. 그 이유는 적응 임계 알고리즘이 개과에 속하는 동물의 비문에서 망 형태의 이미지를 효과적으로 추출할 수 있기 때문이다. 개과에 속하는 동물의 코 패턴은 돌출된 부분과 움푹 들어간 부분으로 나눌 수 있는데, 이 때 움푹 들어간 부분을 연결하게 되면 망 형태의 이미지를 얻을 수 있다.The
필터 이미지 출력부(330)에서는 S310으로부터 전처리된 관심영역 이미지를 필터링하여 패턴 값이 추출된 필터 이미지를 출력할 수 있다(S330). 이는 개과에 속하는 동물의 비문 선의 굵기에 따라 최적화된 이미지 처리를 구현할 수 있도록 하는 단계라 할 수 있다. 이를 위해 S330에서는 필터 이미지의 출력을 위해 S310으로부터 전처리된 관심영역 이미지에 가보 필터(Gabor filter)를 적용할 수 있다. 그 이유는 가보 필터가 파동을 가지고 방향성을 통해 사용자가 원하는 두께와 방향의 연속적인 데이터를 출력할 수 있기 때문이다. 이러한 이유로 가보 필터는 파라미터를 변경하면서 강아지 코에 최적화시키기 위한 필터로서, 개과에 속하는 동물의 비문 선을 보다 효과적으로 추출할 수 있다.The filter
특징점 이미지 출력부(350)에서는 S330로부터 출력된 필터 이미지로부터 특징점을 추출하여 비문 특징점 이미지를 출력할 수 있다(S350). 이는 개과에 속하는 각 동물의 비문 특성에 따라 비문 특징점을 추출하기 위한 단계라 할 수 있다. 이를 위해 S350에서는 특징점 추출을 위해 S330으로부터 출력된 필터 이미지에 시프트 알고리즘(Shift algorithm)을 적용할 수 있다. 그 이유는 시프트 알고리즘이 개과에 속하는 동물의 비문으로부터 보다 안정적인 특징점을 추출할 수 있기 때문이다. 이 때 특징점 이미지는 적어도 하나 이상의 비문 특징점 위치, 스케일 및 방향을 포함하여 보다 안정적으로 추출된 특징점일 수 있다.The feature point
세부 종 판단부(400)에서는 S350으로부터 추출된 특징점과 제 1 데이터베이스부(D1)에 저장된 저장된 복수 개의 이미지와 비교를 통해 개과에 속하는 동물의 세부 종을 판단할 수 있다(S400). 이는 개과에 속하는 동물의 비문이 각 동물마다 다르다는 특성을 이용하여 세부 종을 판단하기 위한 단계라 할 수 있다. The detailed
이를 위해 도 6에 도시된 바와 같이, S400에서는 이미지 비교 단계(S410) 및 매칭 특징점 선정 단계(S430)를 포함할 수 있다.To this end, as shown in FIG. 6 , S400 may include an image comparison step (S410) and a matching feature point selection step (S430).
한편 제 1 데이터베이스부(D1)는 동물의 세부 종을 판단할 수 있는 표준화된 데이터로 수집된 복수 개의 변이(Variation) 이미지를 포함하는 저장매체라 할 수 있다. 그 이유는 같은 종의 동물이라 하더라도 각 동물마다 다양한 크기, 색깔 등 서로 다른 특성을 가질 수 있기 때문이다. 예를 들어, 개과에 속하는 동물이 강아지(또는 개)일 경우, 제 2 데이터베이스부(D2)에서는 강아지의 종인 푸들, 시베리안허스키, 코카스파니엘 등을 판단하기 위한 데이터가 포함될 수 있다. 그리고 제 1데이터베이스부(D1)에서는 강아지가 ‘푸들’ 종인 것으로 판단되었을 때, 해당 ‘푸들’의 주인이 누구인지 또는 해당 ‘푸들’의 이름이 무엇인지 등의 세부 종을 판단하기 위한 데이터가 포함될 수 있다.Meanwhile, the first database unit D1 may be a storage medium including a plurality of variation images collected as standardized data capable of determining detailed species of animals. The reason is that even animals of the same species can have different characteristics, such as different sizes and colors. For example, when an animal belonging to the canine family is a puppy (or dog), the second database unit D2 may include data for determining the dog's species, such as a poodle, a Siberian husky, or a cocker spaniel. And, when the puppy is determined to be a 'poodle' in the first database unit D1, data for determining the detailed species such as who the owner of the corresponding 'poodle' or what the name of the corresponding 'poodle' is included will be included. can
이미지 비교부(410)에서는 S350으로부터 추출된 특징점과 제 1 데이터베이스부(D1)에 저장된 복수 개 이미지의 특징점 간 유클리드 거리 값(Euclidean distance, L2-Norm)을 각각 산출하여 비교할 수 있다(S350). 이는 추출된 특징점의 기술자(Descriptor)(vector)와 제 1 데이터베이스부(D1)에 저장된 복수 개 이미지의 특징점의 기술자 비교를 위해 객관적인 수치값을 산출하기 위한 단계라 할 수 있다. 이 때 추출된 특징점의 개수가 N개, 제 1 데이터베이스부(D1)에 저장된 복수 개 이미지의 특징점의 개수가 M개인 경우, 총 N X M번의 비교를 할 수 있다.The
매칭 특징점 선정부(430)에서는 제 1 데이터베이스부(D1)에 저장된 복수 개 이미지의 특징점 중 S410으로부터 산출된 유클리드 거리 값이 가장 작은 이미지의 특징점을 매칭 특징점으로 선정할 수 있다(S430). 이는 비슷한 패턴을 보이는 비교대상들의 유클리드 거리 값은 작다는 유클리드 거리 값의 특징을 이용한 단계라 할 수 있다.The matching feature
한편 S430에서는 선정된 매칭 특징점 외에 S410으로부터 산출된 유클리드 거리 값이 작은 순으로 매칭 특징점을 추가로 더 선정한 후, 선정된 매칭 특징점의 매칭 신뢰도를 판단할 수 있다. 이 때 매칭 신뢰도 판단은 하기 수학식으로 정의되는 매칭 판단식을 이용할 수 있다.Meanwhile, in S430, in addition to the selected matching feature points, matching feature points may be additionally selected in descending order of Euclidean distance values calculated in S410, and matching reliability of the selected matching feature points may be determined. In this case, the matching reliability determination may use a matching determination equation defined by the following equation.
<수학식><mathematical expression>
E2 / E1 > (임계 값)E2/E1 > (threshold)
(E1 : 선정된 매칭 특징점, E2 : 추가로 선정된 매칭 특징점)(E1: selected matching feature point, E2: additionally selected matching feature point)
도 7은 본 발명의 실시예로서 강아지(또는 개)의 비문 특징점을 추출하는 과정을 나타낸 도면이고, 도 8은 본 발명의 실시예로서 강아지(또는 개)의 비문 선의 굵기(8~15[pixel])에 따른 가보 필터링(Gabor filtering) 이미지 결과를 나타낸 도면이며, 도 9는 본 발명의 실시예로서 가보 필터의 평행선 방향( 
도 7을 참조하면, 사용자 인터페이스(User interface)에 강아지의 코 이미지가 입력 값으로 들어온다고 가정할 수 있다. 이 때 사용자 인터페이스는 웹(Web) 또는 모바일(Mobile) 등 사용자가 입력받고자 하는 다양한 매체를 포함할 수 있다. Referring to FIG. 7 , it may be assumed that a dog's nose image is input to the user interface as an input value. At this time, the user interface may include various media that the user wants to receive input, such as the web or mobile.
도 7(a)은 강아지의 코 이미지이다. 이 때 도 7(a)에서의 강아지 코 이미지 크기는 400X400[pixel]로, 이는 코 이미지의 해상도에 따라 다양한 크기로 입력받을 수 있다.7(a) is an image of a dog's nose. At this time, the dog's nose image size in FIG. 7(a) is 400X400 [pixel], which can be input in various sizes according to the resolution of the nose image.
도 7(b)은 도 7(a)로부터 입력받은 강아지 코 이미지 중 관심영역(ROI) 이미지이다. 도 7(a)에 도시된 바와 같이, 강아지 코에서 특징을 뽑는다면, 콧구멍을 기준으로 양 콧구멍 사이를 가로지르는 코 하단의 선과, 콧구멍 사이와 코 상단에 위치하는 무늬에서 특징을 뽑을 수 있다. 이를 기초로 코가 반듯한 원 형식으로 입력받는다고 가정하였을 때, 도 7(b)의 관심영역 높이는 코 이미지 높이의 1/8~7/8로, 관심영역 폭은 코 이미지 폭의 1/4~3/4인 직사각형으로 설정할 수 있다. 다만 상기 관심영역의 높이 및 너비 수치는 실시예로서, 입력받는 코 이미지의 크기 또는 코 형태 등에 따라 용이하게 변경하여 설정할 수 있다. 한편 도 7(b)에 도시된 바와 같이, 개과에 속하는 동물의 코 패턴은 돌출된 부분과 움푹 들어간 부분으로 나눌 수 있는데, 이 때 돌출된 부분과 움푹 들어간 부분으로 만들어진 전체적인 무늬를 ‘비문’이라 할 수 있으며, 특정한 1개의 패턴을 ‘특징점’이라 할 수 있다.FIG. 7(b) is a region of interest (ROI) image among dog nose images input from FIG. 7(a). As shown in FIG. 7 (a), if a feature is extracted from a dog's nose, a line at the bottom of the nose crossing between both nostrils based on the nostrils and a pattern located between the nostrils and at the top of the nose are selected. can Based on this, assuming that the nose is received in the form of a straight circle, the height of the region of interest in FIG. It can be set to a 3/4 rectangle. However, as an example, the height and width values of the region of interest may be easily changed and set according to the size or shape of the nose image received. On the other hand, as shown in FIG. 7(b), the nose pattern of animals belonging to the canine family can be divided into a protruding part and a recessed part. and one specific pattern can be referred to as a 'feature point'.
도 7(c)은 도 7(b)로부터 설정된 관심영역 이미지를 전처리한 이미지이다. 도 7(b) 및 도 7(c)에 도시된 바와 같이, 설정된 강아지 코 이미지의 관심영역에서 망 형태의 이미지를 효과적으로 추출하기 위해서는 적응 임계 알고리즘을 사용할 수 있다. 적응 임계 알고리즘은 임계값을 전체 영역에 적용하여 처리하는 방식이 아닌, 주변 영역의 평균값이나 가우시안 필터링(Gaussian filtering) 값을 이용해서 변화하는 임계값을 가지며 전체 글로벌(Global) 이미지를 이진화할 수 있다. 이 때 도 7(b)에서는 가우시안 방식을 이용했으며, 주변영역의 크기는 4x4[pixel]로 할 수 있다.FIG. 7(c) is an image obtained by preprocessing the ROI image set in FIG. 7(b). As shown in FIGS. 7(b) and 7(c) , an adaptive threshold algorithm may be used to effectively extract a network-shaped image from the region of interest of the set dog's nose image. The adaptive threshold algorithm can binarize the entire global image with a threshold value that changes using the average value or Gaussian filtering value of the surrounding area, rather than processing the threshold by applying the threshold to the entire area. . At this time, the Gaussian method is used in FIG. 7(b), and the size of the peripheral area can be set to 4x4 [pixel].
도 7(d)은 도 7(c)로부터 전처리된 이미지를 필터링한 이미지이다. 도 7(d)에 도시된 바와 같이, 전처리된 이미지에는 가보 필터(Gabor filter)를 적용할 수 있다. 가보 필터는 이미지 프로세싱에서 엣지 검출(Edge detection), 텍스처 분석(Texture analysis), 특징 추출(Feature extraction) 등에 사용되는 선형필터이다. 즉 이미지에 특정 주파수 요소를 특정 방향으로 로컬화된 영역의 여부를 분석하는 필터이다. 주기함수의 특징을 이용해서 엣지 혹은 텍스처들이 변화하는 부분을 찾아낼 수 있다. 이차원 공간 영역에서 2D 가보 필터는 사인함수로 모듈레이션된 가우시안 필터이다.7(d) is an image obtained by filtering the preprocessed image from FIG. 7(c). As shown in FIG. 7(d), a Gabor filter may be applied to the preprocessed image. The Gabor filter is a linear filter used for edge detection, texture analysis, and feature extraction in image processing. That is, it is a filter that analyzes whether or not there is a region in which a specific frequency component is localized in a specific direction in an image. Using the characteristics of the periodic function, it is possible to find the part where edges or textures change. A 2D Gabor filter in the two-dimensional space domain is a Gaussian filter modulated by a sine function.
가보 필터의 수식은 다음과 같다.The formula for the Gabor filter is:
<수식 1><Equation 1>
이 때 x, y는 가보 필터의 크기이고, 
도 7(e)은 도 7(d)로부터 필터링된 이미지에서 특징점을 추출한 이미지이다. 도 7(e)에 도시된 바와 같이, 필터링된 이미지는 시프트 알고리즘(Shift algorithm)을 적용할 수 있다. 그 이유는 시프트 알고리즘이 회전에 불변하는 특징을 추출하는 특징점 기반 인식 알고리즘이기 때문이다.7(e) is an image obtained by extracting feature points from the image filtered from FIG. 7(d). As shown in FIG. 7(e), a shift algorithm may be applied to the filtered image. The reason is that the shift algorithm is a feature point-based recognition algorithm that extracts rotation-invariant features.
시프트 알고리즘으로 특징점을 추출하는 방법은 다음과 같이 4단계를 거칠 수 있다.The method of extracting feature points using the shift algorithm may go through four steps as follows.
1. scale-space extrema detection 단계 : 물체가 불변하기 위해 특징점 추출 시, 가우시안 블러 이미지를 스케일 별로 축소시켜 쌓아 올린 가우시안 피라미드(Gaussian Pyramid)를 생성한다. 그리고 가우시안 피라미드 영상의 차인 DOG(different of Gaussian)를 구해서 극점(Extrema)인 지점을 찾는다. 여러 스케일에 걸쳐서 특징점으로 추출된 값은 스케일에 불변하다고 할 수 있다. 1. Scale-space extrema detection step: When feature points are extracted to ensure that the object is immutable, Gaussian blur images are reduced for each scale to create a stacked Gaussian pyramid. Then, the DOG (different of Gaussian), which is the difference between the Gaussian pyramid images, is obtained to find the extreme point. A value extracted as a feature point across multiple scales can be said to be scale-invariant.
2. Keypoint localization 단계 : 회전에 불변하는 특징을 추가로 만들기 위해, 알고리즘은 방향을 정규화(Normalize)하고, 극점(Extrema)을 키포인트(Keypoint)로 제한한다. 이는 테일러(Taylor) 급수의 2차 전개로 보간(Interpolation)하여 특징점을 확실하게 나타내 줄 수 있는 키포인트(keypoint)를 찾아내는 단계이다.2. Keypoint localization step: To further create rotation-invariant features, the algorithm normalizes the orientation and limits the extremes to keypoints. This is a step of finding a keypoint that can reliably represent a feature point by interpolation with the secondary expansion of Taylor's series.
3. Orientation assignment 단계 : 회전변화에도 특징점 검출을 위해서 앞 단계(Keypoint localization)에서 정해진 키포인트(keypoint)의 방향을 찾는 단계이다. 3. Orientation assignment step: This step is to find the direction of the keypoint determined in the previous step (keypoint localization) to detect feature points even when the rotation changes.
4. Keypoint descriptor 단계 : 각 특징점마다 기술자(descriptor)를 정해주는 단계이다. 기술자는 특징점을 중심으로 주변의 기울기(Gradient) 값들의 방향들이다. 이를 이용하여 각 특징점마다 기술자를 적용하면, 도 7(e)에 도시된 바와 같이 특징점의 위치와 스케일, 방향 등을 알 수 있다. 이는 보다 안정적인 특징점을 추출할 수 있는 특징을 가질 수 있다.4. Keypoint descriptor step: This step determines a descriptor for each feature point. Descriptors are directions of gradient values around the feature point. If a descriptor is applied to each feature point using this, the location, scale, direction, etc. of the feature point can be known as shown in FIG. 7(e). This may have a feature capable of extracting more stable feature points.
도 10(a)은 시프트 매칭(Shift matching) 방법을 이용한 다른 강아지(또는 개)에 대한 비문 매칭 과정을 나타낸 도면이고, 도 10(b)은 시프트 매칭(Shift matching) 방법을 이용한 다른 강아지(또는 개)에 대한 비문 매칭 과정을 나타낸 도면이다.10(a) is a diagram showing a process of matching an inscription on another puppy (or dog) using the shift matching method, and FIG. 10(b) is a diagram showing another puppy (or dog) using the shift matching method. It is a diagram showing the inscription matching process for dog).
도 10(a) 및 도 10(b)을 참조하면, 상기와 같은 기술자를 통해 특징점이 추출된 이미지(입력된 이미지)와 데이터베이스의 이미지 사이의 각 키 간 유클리드 거리 값을 데이터베이스의 이미지 개수만큼 산출할 수 있다. 그리고 산출된 유클리드 거리 값 중 최소 값(E1)에 해당하는 데이터베이스의 이미지를 추출된 이미지와 매칭되는 매칭 키(Matching key)라고 선정할 수 있다.Referring to FIGS. 10(a) and 10(b), the Euclidean distance value between each key between an image (input image) from which feature points are extracted through the descriptor as described above and an image in the database is calculated by the number of images in the database. can do. In addition, an image of the database corresponding to the minimum value E1 among the calculated Euclidean distance values may be selected as a matching key matched with the extracted image.
한편 최소 값(E1)와 두 번째로 가까운 값의 일정 비율을 통해 구한 두 값을 통해 정확한 매칭을 할 수 있다. 이는 최소 값(E1) 다음으로 유클리드 거리 값이 작은 값(E2)에 해당하는 데이터베이스의 이미지를 추가로 더 선정한 후, 이를 이용하여 최소 값(E1)의 매칭 신뢰도를 파악할 수 있다. 이 때 매칭 신뢰도 판단은 하기 수학식으로 정의되는 매칭 판단식을 이용할 수 있다.Meanwhile, exact matching can be performed through two values obtained through a certain ratio of the minimum value (E1) and the second closest value. In this case, after additionally selecting an image in the database corresponding to a value E2 having a smaller Euclidean distance value after the minimum value E1, the matching reliability of the minimum value E1 may be determined using this image. In this case, the matching reliability determination may use a matching determination equation defined by the following equation.
<수학식><mathematical expression>
E2 / E1 > (임계 값)E2/E1 > (threshold)
(E1 : 최소 값(선정된 매칭 특징점), E2 : 추가로 선정된 값(추가로 선정된 매칭 특징점))(E1: minimum value (selected matching feature point), E2: additionally selected value (additionally selected matching feature point))
도 11은 본 발명의 실시예로서 5마리 강아지(또는 개)에 대한 점수 비교를 나타낸 그래프이고, 도 12는 본 발명의 실시예로서 시프트(Shift), 서프(Surf), 오브(Orb) 매칭을 비교한 도면이고, 도 13은 본 발명의 실시예로서 매칭 방법에 따른 정확도 및 시간 결과를 나타낸 그래프이다. 11 is a graph showing score comparison for 5 puppies (or dogs) as an embodiment of the present invention, and FIG. 12 is a shift, surf, and orb matching as an embodiment of the present invention. 13 is a graph showing accuracy and time results according to a matching method as an embodiment of the present invention.
표 1은 5마리의 강아지에 대한 점수 비교를 나타낸 표이고, 표 2는 매칭 방법에 따른 정확도 및 시간 결과를 나타낸 표이다.Table 1 is a table showing the score comparison for 5 puppies, and Table 2 is a table showing the accuracy and time results according to the matching method.
도 11 및 표 1을 참조하면, 본 발명은 실시예로 5마리의 강아지에 대한 점수를 비교하기 위해 CPU i5 2.2 Ghz인 컴퓨터에서 Python 3.6.4를 이용하였으며, 5종의 강아지의 여러 코 이미지 교차 매칭을 통해서 점수 값을 비교하였다. 여기서 점수 값은 시프트 매칭의 특징점(Key point)의 개수로서, 아래 표 1과 같이 가장 높은 값을 가지는 강아지가 그 강아지라고 확인할 수 있다.Referring to FIG. 11 and Table 1, in the present invention, as an example, Python 3.6.4 was used on a computer with a CPU i5 2.2 Ghz to compare the scores of 5 puppies, and several nose images of 5 puppies were crossed. Score values were compared through matching. Here, the score value is the number of key points of shift matching, and as shown in Table 1 below, it can be confirmed that the puppy with the highest value is the puppy.
도 12, 도 13 및 표 2를 참조하면, 본 발명은 실시예로서 실시간(Real time) 매칭 방법을 이용하기 위해 시프트 매칭(Shift matching) 방법과 함께, 서프(Surf), 오브(Orb) 방법을 이용하여 정확도 및 시간을 측정할 수 있다.Referring to FIGS. 12, 13 and Table 2, the present invention uses a surf and an orb method together with a shift matching method to use a real time matching method as an embodiment. It can be used to measure accuracy and time.
도 12(a) 및 도 12(b)는 시프트 매칭(Shift matching)을, 도 12(c) 및 도 12(d)는 서프 매칭(Surf matching)을, 도 12(e) 및 도 12(f)는 오브 매칭(Orb matching)을 이용해 매칭한 결과이다. 그리고 도 12(a), 도 12(c) 및 도 12(e)는 같은 강아지의 코 사진을, 도 12(b), 도 12(d) 및 도 12(f)는 다른 강아지의 코 사진을 비교한 결과이다.12(a) and 12(b) show shift matching, FIGS. 12(c) and 12(d) show surf matching, and FIGS. 12(e) and 12(f) ) is the result of matching using Orb matching. 12(a), 12(c) and 12(e) show nose pictures of the same dog, and FIGS. 12(b), 12(d) and 12(f) show nose pictures of different dogs. is the result of comparison.
여기서 매칭율(MR : Matching Rate)은 같은 강아지의 복수 개의 코 이미지에 대한 이미지 점수들의 평균을 Same Image Score(SIS)라 하고, 다른 강아지의 복수 개의 코 이미지에 대한 이미지 점수들의 평균을 Different Image Score(DIS)라 할 수 있다. 매칭율(MR)은 SIS/(DIS+SIS)*100로 정의할 수 있다.Here, the Matching Rate (MR) refers to the average of image scores for multiple nose images of the same dog as Same Image Score (SIS), and the average of image scores for multiple nose images of different dogs as Different Image Score. (DIS). The matching rate (MR) can be defined as SIS/(DIS+SIS)*100.
상기 매칭율(MR) 정의에 따라, 매칭율을 계산한 결과, 도 13 및 아래 표 2와 같이 시프트 매칭(Shift matching) 방법이 정확도 및 시간에서 가장 높은 매칭율(MR)인 것으로 나타났다.According to the matching rate (MR) definition, as a result of calculating the matching rate, the shift matching method was found to have the highest matching rate (MR) in terms of accuracy and time, as shown in FIG. 13 and Table 2 below.
perTime/
per
(s)Time
(s)
(score)DIS
(score)
(score)SIS
(score)
(%)MR
(%)
한편 도 7 내지 도 13에 도시된 본 발명의 실시예는 ImageNet database를 pre-training 과정에서 사용하였으며, 추가적으로 동물 종에 대한 이미지를 fine-tuning으로 사용하였지만, 이는 인식 시스템 환경 및 사용자 설정 등에 따라 다양하게 변경할 수 있다.Meanwhile, in the embodiments of the present invention shown in FIGS. 7 to 13, the ImageNet database was used in the pre-training process, and additionally animal species images were used for fine-tuning, but this varied depending on the recognition system environment and user settings. can be changed to
또한 본 발명의 딥러닝(Deep learning) 방법은 이미지가 포함하고 있는 물체의 종류를 알아내는 심층 신경 아키텍처(Deep neural architecture)를 이용한 alexNet, VGGNet, GoogleNet, resNet 등 다양한 방법을 이용할 수 있다.In addition, the deep learning method of the present invention can use various methods such as alexNet, VGGNet, GoogleNet, resNet, etc. using deep neural architecture to find out the type of object included in the image.
이상에서 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정들도 본 발명의 범위에 속하는 것으로 간주되어야할 것이다.Although the above has been described and illustrated in relation to preferred embodiments for illustrating the technical idea of the present invention, the present invention is not limited to the configuration and operation as shown and described in this way, and does not deviate from the scope of the technical idea. It will be appreciated by those skilled in the art that many changes and modifications can be made to the present invention without Accordingly, all such appropriate changes and modifications should be regarded as falling within the scope of the present invention.
이미지 입력부 : 100 종 판단부 : 200
비문 특징점 이미지 추출부 : 300 전처리부 : 310
필터 이미지 출력부 : 330 특징점 이미지 출력부 : 350
세부 종 판단부 : 400 이미지 비교부 : 410
매칭 특징점 선정부 : 430 세부 종 결과 출력부 : 500
제 1 데이터베이스부 : D1 제 2 데이터베이스부 : D2Image Input Unit: 100 Types Judging Unit: 200
Inscription feature point image extraction unit: 300 Pre-processing unit: 310
Filter image output unit: 330 Feature point image output unit: 350
Species determination unit: 400 Image comparison unit: 410
Matching feature point selection unit: 430 Detailed species result output unit: 500
First database unit: D1 Second database unit: D2
Claims (22)
상기 입력된 얼굴 이미지로부터 비문 특징점 이미지를 추출하는 비문 특징점 이미지 추출부;
상기 추출된 비문 특징점 이미지와 제 1 데이터베이스부에 저장된 복수 개의 이미지와 비교를 통해 상기 동물의 세부 종을 판단하는 세부 종 판단부; 및
상기 판단된 세부 종 결과를 출력하는 세부 종 결과 출력부;를 포함하며,
상기 비문 특징점 이미지 추출부는,
상기 입력된 얼굴 이미지 중 관심영역(ROI: Region Of Interest)에 해당하는 이미지를 설정한 후, 상기 개과에 속하는 동물의 코 무늬로 정의되되 돌출된 부분과 움푹 들어간 부분으로 나뉘는 비문에서, 상기 움푹 들어간 부분을 연결한 이미지인 망 형태의 이미지를 추출할 수 있도록, 상기 관심영역에 해당하는 이미지를 전처리하는 전처리부;
상기 전처리된 관심영역 이미지를 필터링하여 패턴 값이 추출된 필터 이미지를 출력하는 필터 이미지 출력부; 및
상기 출력된 필터 이미지로부터 특징점을 추출하여 비문 특징점 이미지를 출력하는 특징점 이미지 출력부;를 포함하되,
상기 필터 이미지 출력부는,
상기 필터 이미지의 출력을 위해 상기 전처리된 관심영역 이미지에 가보 필터(Gabor filter)를 적용하고,
상기 특징점 이미지 출력부는,
상기 특징점 추출을 위해 상기 출력된 필터 이미지에 시프트 알고리즘(Shift algorithm)을 적용하는, 딥러닝 기반 비문 인식 시스템.an image input unit inputting a face image of an animal belonging to the canine family;
an epitaph feature point image extractor extracting an inscription feature point image from the input face image;
a detailed species determining unit for determining a detailed species of the animal by comparing the extracted inscription feature point image with a plurality of images stored in a first database unit; and
Including; a detailed species result output unit for outputting the determined detailed species result,
The inscription feature point image extraction unit,
After setting the image corresponding to the region of interest (ROI) among the input face images, in the inscription defined as the nose pattern of the animal belonging to the canine family and divided into a protruding part and a recessed part, the recessed a pre-processing unit for pre-processing an image corresponding to the region of interest so as to extract a network-type image, which is an image in which parts are connected;
a filter image output unit outputting a filter image from which pattern values are extracted by filtering the preprocessed ROI image; and
A feature point image output unit extracting feature points from the output filter image and outputting an inscription feature point image;
The filter image output unit,
Applying a Gabor filter to the preprocessed ROI image to output the filter image;
The feature point image output unit,
A deep learning-based inscription recognition system that applies a shift algorithm to the output filter image for the feature point extraction.
적어도 하나 이상의 비문 특징점 위치, 스케일 및 방향을 포함하는 딥러닝 기반 비문 인식 시스템.The method of claim 1, wherein the extracted feature points,
A deep learning-based inscription recognition system including at least one inscription feature point position, scale, and direction.
상기 관심영역 이미지의 설정을 위해 상기 입력된 얼굴 이미지에 적응 임계(Adaptive thresholding) 알고리즘을 적용하는 딥러닝 기반 비문 인식 시스템.The method of claim 1, wherein the pre-processing unit,
A deep learning-based inscription recognition system for applying an adaptive thresholding algorithm to the input face image to set the image of the region of interest.
상기 추출된 특징점과 상기 제 1 데이터베이스부에 저장된 복수 개 이미지의 특징점 간 유클리드 거리 값(Euclidean distance, L2-Norm)을 각각 산출하여 비교하는 이미지 비교부; 및
상기 제 1 데이터베이스부에 저장된 복수 개 이미지의 특징점 중 상기 산출된 유클리드 거리 값이 가장 작은 이미지의 특징점을 매칭 특징점으로 선정하는 매칭 특징점 선정부;를 포함하는 딥러닝 기반 비문 인식 시스템.The method of claim 3, wherein the detailed species determination unit,
an image comparator for calculating and comparing Euclidean distances (L2-Norm) between the extracted feature points and feature points of the plurality of images stored in the first database unit; and
A deep learning-based inscription recognition system comprising a; matching feature point selection unit for selecting a feature point of an image having the smallest calculated Euclidean distance value among feature points of a plurality of images stored in the first database unit as a matching feature point.
상기 선정된 매칭 특징점 외에 상기 산출된 유클리드 거리 값이 작은 순으로 매칭 특징점을 추가로 더 선정한 후, 다음 수학식으로 정의되는 매칭 판단식을 이용하여 상기 선정된 매칭 특징점의 매칭 신뢰도를 판단하는 딥러닝 기반 비문 인식 시스템.
<수학식>
E2 / E1 > (임계 값)
(E1 : 선정된 매칭 특징점, E2 : 추가로 선정된 매칭 특징점)The method of claim 7, wherein the matching feature point selection unit,
In addition to the selected matching feature points, after further selecting matching feature points in descending order of the calculated Euclidean distance value, deep learning determines the matching reliability of the selected matching feature points using a matching determination formula defined by the following equation. based inscription recognition system.
<mathematical expression>
E2/E1 > (threshold)
(E1: selected matching feature point, E2: additionally selected matching feature point)
상기 이미지 입력부로부터 입력된 얼굴 이미지와 제 2 데이터베이스부에 저장된 이미지와의 비교를 통해 상기 동물의 종을 판단하는 종 판단부를 더 포함하는 딥러닝 기반 비문 인식 시스템.According to claim 1,
Deep learning-based inscription recognition system further comprising a species determination unit for determining the species of the animal by comparing the face image input from the image input unit with the image stored in the second database unit.
상기 동물의 세부 종을 판단할 수 있는 표준화된 데이터로 수집된 복수 개의 변이(Variation) 이미지를 포함하는 딥러닝 기반 비문 인식 시스템.The method of claim 1, wherein the first database unit,
A deep learning-based inscription recognition system including a plurality of variation images collected as standardized data capable of determining the detailed species of the animal.
상기 동물의 종을 판단할 수 있는 표준화된 데이터로 수집된 복수 개의 종(Breed) 이미지를 포함하는 딥러닝 기반 비문 인식 시스템.The method of claim 9, wherein the second database unit,
A deep learning-based inscription recognition system including a plurality of breed images collected as standardized data capable of determining the species of the animal.
비문 특징점 이미지 추출부에서 상기 입력된 얼굴 이미지로부터 비문 특징점 이미지를 추출하는 비문 특징점 이미지 추출 단계;
세부 종 판단부에서 상기 추출된 비문 특징점 이미지와 제 1 데이터베이스부에 저장된 복수 개의 이미지와 비교를 통해 상기 동물의 세부 종을 판단하는 세부 종 판단 단계; 및
세부 종 결과 출력부에서 상기 판단된 세부 종 결과를 출력하는 세부 종 결과 출력 단계;를 포함하며,
상기 비문 특징점 이미지 추출 단계는,
전처리부에서 상기 입력된 얼굴 이미지 중 관심영역(ROI: Region Of Interest)에 해당하는 이미지를 설정한 후, 상기 개과에 속하는 동물의 코 무늬로 정의되되 돌출된 부분과 움푹 들어간 부분으로 나뉘는 비문에서, 상기 움푹 들어간 부분을 연결한 이미지인 망 형태의 이미지를 추출할 수 있도록, 상기 관심영역에 해당하는 이미지를 전처리하는 전처리 단계;
필터 이미지 출력부에서 상기 전처리된 관심영역 이미지를 필터링하여 패턴 값이 추출된 필터 이미지를 출력하는 필터 이미지 출력 단계; 및
특징점 이미지 출력부에서 상기 출력된 필터 이미지로부터 특징점을 추출하여 비문 특징점 이미지를 출력하는 특징점 이미지 출력 단계;를 포함하되,
상기 필터 이미지 출력 단계는,
상기 필터 이미지의 출력을 위해 상기 전처리된 관심영역 이미지에 가보 필터(Gabor filter)를 적용하고,
상기 특징점 이미지 출력 단계는,
상기 특징점의 추출을 위해 상기 출력된 필터 이미지에 시프트 알고리즘(Shift algorithm)을 적용하는, 딥러닝 기반 비문 인식 방법.an image input step of receiving a face image of an animal belonging to the canine family from an image input unit;
an inscription feature point image extraction step of extracting an inscription feature point image from the input face image in an inscription feature point image extraction unit;
a detailed species determination step of determining a detailed species of the animal by comparing the extracted inscription feature point image with a plurality of images stored in a first database unit in a detailed species determination unit; and
A detailed species result output step of outputting the determined detailed species result in a detailed species result output unit;
The step of extracting the inscription feature point image,
After setting the image corresponding to the region of interest (ROI) among the input face images in the pre-processing unit, in the inscription defined as the nose pattern of the animal belonging to the canine family but divided into a protruding part and a recessed part, a pre-processing step of pre-processing the image corresponding to the region of interest so as to extract a network-type image that is an image connecting the indented part;
a filter image output step of outputting a filter image from which a pattern value is extracted by filtering the preprocessed ROI image in a filter image output unit; and
A feature point image output step of extracting feature points from the output filter image in a feature point image output unit and outputting an inscription feature point image; including,
In the step of outputting the filter image,
Applying a Gabor filter to the preprocessed ROI image to output the filter image;
In the step of outputting the feature point image,
A deep learning-based inscription recognition method of applying a shift algorithm to the output filter image for extraction of the feature points.
적어도 하나 이상의 비문 특징점 위치, 스케일 및 방향을 포함하는 딥러닝 기반 비문 인식 방법.The method of claim 12, wherein the extracted feature points,
A deep learning-based inscription recognition method including at least one inscription feature point location, scale, and direction.
상기 관심영역 이미지의 설정을 위해 상기 입력된 얼굴 이미지에 적응 임계(Adaptive thresholding) 알고리즘을 적용하는 딥러닝 기반 비문 인식 방법.The method of claim 12, wherein the preprocessing step,
A deep learning-based inscription recognition method of applying an adaptive thresholding algorithm to the input face image to set the image of the region of interest.
이미지 비교부에서 상기 추출된 특징점과 상기 제 1 데이터베이스부에 저장된 복수 개 이미지의 특징점 간 유클리드 거리 값(Euclidean distance, L2-Norm)을 각각 산출하여 비교하는 이미지 비교 단계; 및
매칭 특징점 선정부에서 상기 제 1 데이터베이스부에 저장된 복수 개 이미지의 특징점 중 상기 산출된 유클리드 거리 값이 가장 작은 이미지의 특징점을 매칭 특징점으로 선정하는 매칭 특징점 선정 단계;를 포함하는 딥러닝 기반 비문 인식 방법.The method of claim 12, wherein the detailed species determination step,
an image comparison step of calculating and comparing Euclidean distances (L2-Norm) between the extracted feature points in an image comparison unit and feature points of the plurality of images stored in the first database unit; and
A matching feature point selection step of selecting, in a matching feature point selection unit, a feature point of an image having the smallest calculated Euclidean distance value among feature points of a plurality of images stored in the first database unit as a matching feature point; Deep learning-based inscription recognition method including .
상기 선정된 매칭 특징점 외에 상기 산출된 유클리드 거리 값이 작은 순으로 매칭 특징점을 추가로 더 선정한 후, 다음 수학식으로 정의되는 매칭 판단식을 이용하여 상기 선정된 매칭 특징점의 매칭 신뢰도를 판단하는 딥러닝 기반 비문 인식 방법.
<수학식>
E2 / E1 > (임계 값)
(E1 : 선정된 매칭 특징점, E2 : 추가로 선정된 매칭 특징점)19. The method of claim 18, wherein the selecting of matching feature points comprises:
In addition to the selected matching feature points, after further selecting matching feature points in descending order of the calculated Euclidean distance value, deep learning determines the matching reliability of the selected matching feature points using a matching determination formula defined by the following equation. based inscription recognition method.
<mathematical expression>
E2/E1 > (threshold)
(E1: selected matching feature point, E2: additionally selected matching feature point)
종 판단부에서 상기 이미지 입력 단계로부터 입력된 얼굴 이미지와 제 2 데이터베이스부에 저장된 이미지와의 비교를 통해 상기 동물의 종을 판단하는 종 판단단계를 더 포함하는 딥러닝 기반 비문 인식 방법.According to claim 12,
Deep learning-based print recognition method further comprising a species determination step of determining the species of the animal by comparing the face image input from the image input step in the species determination unit with the image stored in the second database unit.
상기 동물의 세부 종을 판단할 수 있는 표준화된 데이터로 수집된 복수 개의 변이(Variation) 이미지를 포함하는 딥러닝 기반 비문 인식 방법.The method of claim 12, wherein the first database unit,
A deep learning-based print recognition method comprising a plurality of variation images collected as standardized data capable of determining the detailed species of the animal.
상기 동물의 종을 판단할 수 있는 표준화된 데이터로 수집된 복수 개의 종(Breed) 이미지를 포함하는 딥러닝 기반 비문 인식 방법.The method of claim 20, wherein the second database unit,
A deep learning-based inscription recognition method comprising a plurality of breed images collected as standardized data capable of determining the species of the animal.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180084266A KR102466215B1 (en) | 2018-07-19 | 2018-07-19 | Nose pattern recognition system and method based on deep learning |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180084266A KR102466215B1 (en) | 2018-07-19 | 2018-07-19 | Nose pattern recognition system and method based on deep learning |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200013160A KR20200013160A (en) | 2020-02-06 |
| KR102466215B1 true KR102466215B1 (en) | 2022-11-11 |
Family
ID=69569273
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180084266A KR102466215B1 (en) | 2018-07-19 | 2018-07-19 | Nose pattern recognition system and method based on deep learning |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102466215B1 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102254642B1 (en) * | 2020-04-24 | 2021-05-21 | (주)유소프트 | Platform of recognizing and saving biometric marker based block chain |
| KR20220102450A (en) * | 2021-01-13 | 2022-07-20 | 삼성전자주식회사 | Method for generating image filter effect and electronic device thereof |
| CN112784742B (en) * | 2021-01-21 | 2024-06-18 | 宠爱王国(北京)网络科技有限公司 | Nose pattern feature extraction method and device and nonvolatile storage medium |
| KR102603983B1 (en) | 2021-07-01 | 2023-11-22 | 주식회사 인텔리고 | Deep learning based system and method for recognizing behavior type using emg signal |
| CN113673422A (en) * | 2021-08-19 | 2021-11-19 | 苏州中科先进技术研究院有限公司 | Pet type identification method and identification system |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101309889B1 (en) * | 2012-08-10 | 2013-09-17 | 아이베리파이 엘엘씨 | Texture features for biometric authentication |
| JP2017126168A (en) * | 2016-01-13 | 2017-07-20 | 富士通株式会社 | Biometric authentication apparatus, biometric authentication method, and biometric authentication program |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4190209B2 (en) | 2002-05-23 | 2008-12-03 | サージミヤワキ株式会社 | Noseprint matching method |
| KR101494716B1 (en) | 2014-10-31 | 2015-02-26 | 주식회사 아이싸이랩 | Apparatus of Animal Recognition System using nose patterns |
| KR20170002193A (en) * | 2015-06-29 | 2017-01-06 | 주식회사 버즈폴 | Apparatu for pet sitter intermediation using breed identificationand method therefor |
-
2018
- 2018-07-19 KR KR1020180084266A patent/KR102466215B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101309889B1 (en) * | 2012-08-10 | 2013-09-17 | 아이베리파이 엘엘씨 | Texture features for biometric authentication |
| JP2017126168A (en) * | 2016-01-13 | 2017-07-20 | 富士通株式会社 | Biometric authentication apparatus, biometric authentication method, and biometric authentication program |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200013160A (en) | 2020-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102466215B1 (en) | Nose pattern recognition system and method based on deep learning | |
| Soltanpour et al. | A survey of local feature methods for 3D face recognition | |
| Nurhaida et al. | Automatic Indonesian's batik pattern recognition using SIFT approach | |
| Grigorescu et al. | Distance sets for shape filters and shape recognition | |
| Creusot et al. | A machine-learning approach to keypoint detection and landmarking on 3D meshes | |
| Alvarez-Betancourt et al. | A keypoints-based feature extraction method for iris recognition under variable image quality conditions | |
| Berretti et al. | Selecting stable keypoints and local descriptors for person identification using 3D face scans | |
| Short et al. | Latent fingerprint segmentation using ridge template correlation | |
| Weideman et al. | Integral curvature representation and matching algorithms for identification of dolphins and whales | |
| Lin et al. | A novel matching algorithm for splitting touching rice kernels based on contour curvature analysis | |
| Martins et al. | Forest species recognition based on dynamic classifier selection and dissimilarity feature vector representation | |
| KR101255729B1 (en) | Method on Sub Image Retrieval Using Local Alignment | |
| Youbi et al. | Human ear recognition based on multi-scale local binary pattern descriptor and KL divergence | |
| Anantharatnasamy et al. | Fusion of colour, shape and texture features for content based image retrieval | |
| Faroek et al. | Classification based on machine learning methods for identification of image matching achievements | |
| Le et al. | Document retrieval based on logo spotting using key-point matching | |
| Wati et al. | Pattern Recognition of Sarong Fabric Using Machine Learning Approach Based on Computer Vision for Cultural Preservation. | |
| Anjomshoae et al. | Enhancement of template-based method for overlapping rubber tree leaf identification | |
| Allen et al. | Unsupervised tattoo segmentation combining bottom-up and top-down cues | |
| Oldal et al. | Biometric Authentication System based on Hand Geometry and Palmprint Features. | |
| Verma et al. | Vision based counting of texture-less objects using shape and color features | |
| Szczepanik et al. | Data management for fingerprint recognition algorithm based on characteristic points’ groups | |
| Kumar | Orientation local binary pattern based fingerprint matching | |
| Patel et al. | Biometric-based Unique Identification for Bovine Animals—Comparative Study of Various Machine and Deep Learning Computer Vision Methods | |
| Kumar et al. | Feature selection approach in animal classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |