KR102444928B1 - Method for detecting object for identifying animal and apparatus thereof - Google Patents
Method for detecting object for identifying animal and apparatus thereof Download PDFInfo
- Publication number
- KR102444928B1 KR102444928B1 KR1020210083753A KR20210083753A KR102444928B1 KR 102444928 B1 KR102444928 B1 KR 102444928B1 KR 1020210083753 A KR1020210083753 A KR 1020210083753A KR 20210083753 A KR20210083753 A KR 20210083753A KR 102444928 B1 KR102444928 B1 KR 102444928B1
- Authority
- KR
- South Korea
- Prior art keywords
- companion animal
- feature
- image
- region
- species
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
Description
본 발명은 반려 동물의 식별을 위한 객체를 검출하기 위한 방법 및 장치에 관한 것으로, 보다 구체적으로 계단식 영상 처리를 통해 반려 동물의 객체를 검출하기 위한 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for detecting an object for identification of a companion animal, and more particularly, to a method and apparatus for detecting an object of a companion animal through stepwise image processing.
현대 사회에서 사람과 함께 생활하면서 정서적으로 의지할 수 있는 반려 동물에 대한 수요가 높아지고 있다. 이에 따라, 반려 동물에 대한 건강 관리 등을 위하여 다양한 반려 동물에 대한 정보를 데이터베이스화 하여 관리할 필요성이 증가하고 있다. 반려 동물을 관리하기 위하여 사람의 지문과 같이 반려 동물의 식별 정보가 필요하며, 반려 동물에 따라 사용될 수 있는 객체가 각각 정의될 수 있다. 예를 들어, 강아지의 경우 비문(코 주름의 형상)이 각자 상이하므로 각 강아지마다 비문을 식별 정보로 사용할 수 있다. In modern society, there is an increasing demand for companion animals that can be relied on emotionally while living with people. Accordingly, there is an increasing need to manage and manage information on various companion animals in a database for health management of companion animals. In order to manage the companion animal, identification information of the companion animal, such as a human fingerprint, is required, and objects that can be used according to the companion animal may be defined. For example, in the case of puppies, since the inscriptions (the shape of the nose folds) are different, the inscriptions may be used as identification information for each puppy.
도 1의 (a)에 도시된 것과 같이, 비문을 등록하는 방법은 사람의 지문 또는 안면을 등록하는 것과 같이 반려 동물의 코를 포함한 안면을 촬영하고(S110) 비문을 포함한 이미지를 데이터베이스에 저장 및 등록하는 과정(S120)에 의해 수행된다. 또한, 비문을 조회하는 방법은 도 1의 (b)에 도시된 것과 같이 반려 동물의 비문을 촬영하고(S130), 촬영된 비문과 일치하는 비문 및 이와 관련된 정보를 탐색하고(S140), 촬영된 비문과 일치하는 정보를 출력하는 과정(S150)에 의해 수행될 수 있다. 도 1과 같이 반려 동물의 비문을 등록하고 조회하는 과정을 통해 각 반려 동물을 식별하고 해당 반려 동물의 정보를 관리할 수 있다. 반려 동물의 비문 정보는 데이터베이스에 저장되고 AI 기반의 학습 또는 인식을 위한 데이터로서 사용될 수 있다. As shown in Fig. 1 (a), the method of registering the inscription is to photograph the face including the nose of the companion animal (S110) and store the image including the inscription in the database, such as registering a human fingerprint or face, and It is performed by the registration process (S120). In addition, the method of inquiring the inscription is as shown in (b) of FIG. 1, by photographing the inscription of the companion animal (S130), searching for the inscription matching the photographed inscription and related information (S140), and It may be performed by the process of outputting information matching the inscription (S150). As shown in FIG. 1 , through the process of registering and inquiring inscriptions of companion animals, each companion animal can be identified and information of the companion animal can be managed. The pet's inscription information is stored in a database and can be used as data for AI-based learning or recognition.
그러나, 반려 동물의 비문을 취득하고 저장함에 있어 몇 가지 문제점이 존재한다. However, there are several problems in obtaining and storing the inscriptions of companion animals.
먼저, 사진은 촬영 각도, 초점, 거리, 크기, 환경 등에 따라 인식이 어려울 수 있다. 사람의 안면 인식 기술을 비문 인식에 적용하고자 하는 시도가 있었으나, 사람의 안면 정보는 충분한 데이터가 축적된 반면 반려 동물의 비문 정보는 충분한 데이터가 확보되지 않아 인식률이 낮다는 문제점이 있다. 구체적으로, AI 기반의 인식이 수행되기 위하여는 기계가 학습할 수 있는 형태로 가공된 학습 데이터가 필요하나, 반려 동물의 비문은 충분한 데이터가 축적되지 않아 비문 인식에 어려움이 있다.First, it may be difficult to recognize a photo depending on a photographing angle, focus, distance, size, environment, and the like. There have been attempts to apply human facial recognition technology to inscription recognition, but there is a problem that sufficient data is accumulated for human facial information, whereas sufficient data is not secured for inscription information of companion animals, resulting in a low recognition rate. Specifically, in order to perform AI-based recognition, learning data processed in a form that can be learned by a machine is required, but the inscriptions of companion animals are difficult to recognize because sufficient data is not accumulated.
또한, 반려 동물의 비문 인식을 위하여는 선명한 코 주름을 갖는 이미지가 요구되나, 사람과 달리 반려 동물은 잠시 동작을 멈추는 것과 같은 행위를 할 줄 모르기 때문에 선명한 코 주름 이미지를 취득하기가 쉽지 않다. 예를 들어, 강아지는 계속 안면을 움직이고 혀를 낼름거리기 때문에 원하는 품질의 비문 이미지를 취득하기가 매우 어렵다. 예를 들어, 도 2를 참조하면, 하단의 이미지들과 같이 코의 주름이 선명하게 촬영된 영상이 요구되지만 실제로 촬영된 이미지는 대부분 상단의 이미지들과 같이 흔들림 등으로 인하여 코 주름이 선명하게 촬영되지 못한 경우가 많다. 이러한 문제를 해결하기 위하여 강아지의 코를 강제로 고정시킨 상태로 촬영하는 방법들이 고려되고 있으나, 반려 동물에게 강제적인 행위를 하도록 하기 때문에 부적절한 것으로 평가받고 있다. In addition, an image with clear nose wrinkles is required for inscription recognition of companion animals, but unlike humans, companion animals do not know how to perform actions such as stopping for a moment, so it is not easy to obtain a clear image of nose wrinkles. For example, it is very difficult to obtain an image of an inscription of the desired quality because a dog constantly moves its face and sticks out its tongue. For example, referring to FIG. 2 , an image in which the wrinkles of the nose are clearly photographed as in the images at the bottom is required, but most of the images actually photographed have the wrinkles in the nose clearly photographed due to shaking, like in the images at the top. In many cases it has not been In order to solve this problem, a method of taking pictures with the dog's nose forcibly fixed is being considered, but it is evaluated as inappropriate because it forces the companion animal to perform a forced action.
따라서, 본 발명은 연산 복잡도를 감소시키면서 효과적으로 반려 동물의 식별을 위한 객체를 검출하기 위한 방법 및 장치를 제공한다. Accordingly, the present invention provides a method and apparatus for effectively detecting an object for identification of a companion animal while reducing computational complexity.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확히 이해될 수 있을 것이다. The problems to be solved of the present invention are not limited to those mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.
본 발명에 따른 반려 동물의 식별을 위한 객체를 검출하기 위한 방법은, 상기 반려 동물이 포함된 원본 영상을 획득하는 단계와, 상기 원본 영상에 대한 영상 처리를 통해 제1 특징 영역과 상기 반려 동물의 종(種)을 결정하는 단계와, 상기 결정된 반려 동물의 종에 기초하여 상기 제1 특징 영역 내에서 상기 반려 동물의 식별을 위한 객체를 검출하는 단계를 포함한다. A method for detecting an object for identification of a companion animal according to the present invention includes the steps of: acquiring an original image including the companion animal; determining a species; and detecting an object for identification of the companion animal within the first characteristic area based on the determined species of the companion animal.
본 발명에 따르면, 상기 반려 동물의 종을 결정하는 단계는, 상기 원본 영상에 대한 제1 전처리를 적용하는 단계와, 상기 전처리된 영상에서 상기 반려 동물의 종을 결정하여 상기 제1 특징 영역을 설정하는 단계와, 상기 제1 특징 영역에 대한 제1 후처리를 통해 제1 특징 값을 추출하는 단계를 포함할 수 있다. According to the present invention, the determining of the species of the companion animal includes: applying a first pre-processing to the original image; determining the species of the companion animal in the pre-processed image to set the first feature region and extracting a first feature value through a first post-processing of the first feature region.
본 발명에 따르면, 상기 제1 특징 영역을 설정하는 단계는, 학습용 신경망을 사용하여 상기 전처리된 영상으로부터 복수개의 특징 영상을 생성하는 단계와, 상기 복수개의 특징 영상에 각각에 대하여 사전에 정의된 경계 상자를 적용하는 단계와, 상기 경계 상자 내에서 각 반려 동물의 종류 별 확률 값을 계산하는 단계와, 특정 동물 종에 대하여 상기 계산된 확률 값이 기준치 이상인 경우 상기 경계 상자가 포함되도록 상기 제1 특징 영역을 구성하는 단계를 포함할 수 있다. According to the present invention, the step of setting the first feature region includes generating a plurality of feature images from the pre-processed image using a neural network for learning, and a predefined boundary for each of the plurality of feature images. applying a box; calculating a probability value for each type of companion animal within the bounding box; It may include the step of configuring a region.
본 발명에 따르면, 상기 제1 특징 값이 기준치보다 큰 경우 상기 반려 동물을 식별하기 위한 객체 검출이 수행되고, 상기 제1 특징 값이 기준치보다 작은 경우 추가적인 처리가 생략될 수 있다. According to the present invention, when the first characteristic value is greater than a reference value, object detection for identifying the companion animal is performed, and when the first characteristic value is less than the reference value, additional processing may be omitted.
본 발명에 따르면, 상기 원본 영상에 대한 제1 전처리를 적용하는 단계는, 상기 원본 영상을 원본 해상도보다 낮은 제1 해상도의 영상으로 변환하는 단계와, 상기 제1 해상도로 변환된 영상에 대하여 상기 제1 전처리를 적용하는 단계를 포함할 수 있다. According to the present invention, the step of applying the first pre-processing to the original image includes converting the original image to an image having a first resolution lower than the original resolution, and performing the second step with respect to the image converted to the first resolution. 1 may include applying a pretreatment.
본 발명에 따르면, 상기 반려 동물의 식별을 위한 객체를 검출하는 단계는, 상기 반려 동물의 종을 식별하기 위한 제1 특징 영역에 대한 제2 전처리를 적용하는 단계와, 상기 제2 전처리된 제1 특징 영역에서 상기 반려 동물의 종에 기초하여 상기 반려 동물의 식별을 위한 제2 특징 영역을 설정하는 단계와, 상기 제2 특징 영역에 대한 제2 후처리를 적용하여 제2 특징 값을 추출하는 단계를 포함할 수 있다. According to the present invention, the detecting of the object for identification of the companion animal includes: applying a second pre-processing to a first characteristic region for identifying the species of the companion animal; Setting a second feature region for identification of the companion animal based on the species of the companion animal in the feature region, and extracting a second feature value by applying a second post-processing to the second feature region may include.
본 발명에 따르면, 상기 제1 특징 영역에 대한 제2 전처리는 상기 제1 특징 영역의 설정을 위한 제1 전처리가 적용되는 제1 해상도 보다 높은 제2 해상도에서 수행될 수 있다. According to the present invention, the second pre-processing of the first feature region may be performed at a second resolution higher than the first resolution to which the first pre-processing for setting the first feature region is applied.
본 발명에 따르면, 상기 제2 특징 영역을 설정하는 단계는 상기 반려 동물의 종에 따라 상기 제1 특징 영역에서 상기 반려 동물의 식별을 위한 객체가 위치하는 확률에 기초하여 상기 제2 특징 영역을 설정하는 단계를 포함할 수 있다. According to the present invention, the setting of the second characteristic region may include setting the second characteristic region based on a probability that the object for identification of the companion animal is located in the first characteristic region according to the species of the companion animal. may include the step of
본 발명에 따르면, 상기 제2 특징 값이 기준치보다 큰 경우 상기 제2 특징 영역을 포함하는 이미지가 서버로 전송될 수 있다. According to the present invention, when the second characteristic value is greater than a reference value, an image including the second characteristic area may be transmitted to the server.
본 발명에 따른 반려 동물의 식별을 위한 객체를 검출하기 위한 장치는, 상기 반려 동물이 포함된 원본 영상을 생성하는 카메라와, 상기 원본 영상에 대한 영상 처리를 통해 제1 특징 영역과 상기 반려 동물의 종(種)을 결정하고, 상기 결정된 반려 동물의 종에 기초하여 상기 제1 특징 영역 내에서 상기 반려 동물의 식별을 위한 객체를 검출하는 프로세서와, 상기 반려 동물의 식별을 위한 객체가 유효한 경우 상기 객체의 이미지를 서버로 전송하는 통신 모듈을 포함한다. An apparatus for detecting an object for identification of a companion animal according to the present invention includes a camera that generates an original image including the companion animal, and a first feature region and the companion animal through image processing on the original image. a processor for determining a species and detecting an object for identification of the companion animal within the first feature area based on the determined species of the companion animal; and if the object for identification of the companion animal is valid, the It includes a communication module that transmits the image of the object to the server.
본 발명에 따르면, 상기 프로세서는 상기 원본 영상에 대한 제1 전처리를 적용하고, 상기 전처리된 영상에서 상기 반려 동물의 종을 결정하여 상기 제1 특징 영역을 설정하고, 상기 제1 특징 영역에 대한 제1 후처리를 통해 제1 특징 값을 추출할 수 있다. According to the present invention, the processor applies a first pre-processing to the original image, determines the species of the companion animal from the pre-processed image, sets the first characteristic region, and sets the first characteristic region to the first characteristic region. 1 The first feature value may be extracted through post-processing.
본 발명에 따르면, 상기 프로세서는 학습용 신경망을 사용하여 상기 전처리된 영상으로부터 복수개의 특징 영상을 생성하고, 상기 복수개의 특징 영상에 각각에 대하여 사전에 정의된 경계 상자를 적용하고, 상기 경계 상자 내에서 각 반려 동물의 종류 별 확률 값을 계산하고, 특정 동물 종에 대하여 상기 계산된 확률 값이 기준치 이상인 경우 상기 경계 상자가 포함되도록 상기 제1 특징 영역을 구성할 수 있다. According to the present invention, the processor generates a plurality of feature images from the preprocessed image using a neural network for learning, applies a predefined bounding box to each of the plurality of feature images, and within the bounding box A probability value for each type of companion animal may be calculated, and when the calculated probability value for a specific animal species is equal to or greater than a reference value, the first feature region may be configured to include the bounding box.
본 발명에 따르면, 상기 제1 특징 값이 기준치보다 큰 경우 상기 반려 동물을 식별하기 위한 객체 검출이 수행되고, 상기 제1 특징 값이 기준치보다 작은 경우 추가적인 처리가 생략될 수 있다. According to the present invention, when the first characteristic value is greater than a reference value, object detection for identifying the companion animal is performed, and when the first characteristic value is less than the reference value, additional processing may be omitted.
본 발명에 따르면, 상기 프로세서는 상기 원본 영상을 원본 해상도보다 낮은 제1 해상도의 영상으로 변환하고, 상기 제1 해상도로 변환된 영상에 대하여 상기 제1 전처리를 적용할 수 있다. According to the present invention, the processor may convert the original image into an image of a first resolution lower than the original resolution, and apply the first preprocessing to the image converted to the first resolution.
본 발명에 따르면, 상기 프로세서는 상기 반려 동물의 종을 식별하기 위한 제1 특징 영역에 대한 제2 전처리를 적용하고, 상기 제2 전처리된 제1 특징 영역에서 상기 반려 동물의 종에 기초하여 상기 반려 동물의 식별을 위한 제2 특징 영역을 설정하고, 상기 제2 특징 영역에 대한 제2 후처리를 적용하여 제2 특징 값을 추출할 수 있다. According to the present invention, the processor applies a second pre-processing to the first characteristic region for identifying the species of the companion animal, and based on the species of the companion animal in the second pre-processed first characteristic region, the companion animal The second feature value may be extracted by setting a second feature region for identification of an animal, and applying a second post-processing to the second feature region.
본 발명에 따르면, 상기 제1 특징 영역에 대한 제2 전처리는 상기 제1 특징 영역의 설정을 위한 제1 전처리가 적용되는 제1 해상도 보다 높은 제2 해상도에서 수행될 수 있다. According to the present invention, the second pre-processing of the first feature region may be performed at a second resolution higher than the first resolution to which the first pre-processing for setting the first feature region is applied.
본 발명에 따르면, 상기 프로세서는 상기 반려 동물의 종에 따라 상기 제1 특징 영역에서 상기 반려 동물의 식별을 위한 객체가 위치하는 확률에 기초하여 상기 제2 특징 영역을 설정할 수 있다. According to the present invention, the processor may set the second characteristic region based on a probability that the object for identification of the companion animal is located in the first characteristic region according to the species of the companion animal.
본 발명에 따르면, 상기 제2 특징 값이 기준치보다 큰 경우 상기 제2 특징 영역을 포함하는 이미지가 상기 서버로 전송될 수 있다.According to the present invention, when the second feature value is greater than a reference value, the image including the second feature area may be transmitted to the server.
본 발명에 따른 반려 동물의 식별을 위한 객체를 검출하기 위한 방법 및 장치는 반려 동물을 촬영한 후 즉시 비문의 학습 또는 식별을 위한 이미지를 선별하고 서버의 데이터베이스에 저장하도록 함으로써 학습 또는 식별을 위한 반려 동물의 코에 대응하는 객체의 이미지를 효과적으로 획득할 수 있다. A method and apparatus for detecting an object for identification of a companion animal according to the present invention selects an image for learning or identification of an inscription immediately after photographing the companion animal and stores it in a database of a server, thereby providing a companion animal for learning or identification An image of an object corresponding to an animal's nose can be effectively acquired.
또한, 본 발명에 따른 반려 동물의 식별을 위한 객체를 검출하기 위한 방법 및 장치는 반려 동물의 종(강아지, 고양이, 햄스터 등)을 먼저 결정한 후 반려 동물의 비문 이미지를 추출함으로써 연산 복잡도를 감소시킬 수 있다. In addition, the method and apparatus for detecting an object for identification of a companion animal according to the present invention reduce the computational complexity by first determining the species of the companion animal (dog, cat, hamster, etc.) and then extracting the inscription image of the companion animal. can
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다. Effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.
도 1은 AI 기반의 반려 동물의 관리를 위한 개략적인 절차를 도시한다.
도 2는 AI 기반의 반려 동물의 관리에 있어 학습 또는 식별에 적합하지 않은 이미지 및 학습 또는 식별에 적합한 이미지의 예시들을 도시한다.
도 3은 본 발명에 따른 학습 또는 식별용 객체 이미지의 적합도 판단이 적용된 AI 기반의 반려 동물의 비문 관리를 위한 절차를 도시한다.
도 4는 본 발명에 따른 반려 동물의 관리 시스템에서 반려 동물의 식별을 위한 객체를 검출하기 위한 절차를 도시한다.
도 5는 본 발명이 적용된 반려 동물의 식별 객체를 검출하기 위한 UI(User Interface) 화면의 예를 도시한다.
도 6은 본 발명에 따른 반려 동물의 식별을 위한 객체를 검출하는 과정을 도시한다.
도 7은 본 발명에 따른 특징 영역을 설정하기 위한 과정을 도시한다.
도 8은 본 발명에 따른 반려 동물의 식별을 위한 객체를 검출하는 방법의 흐름도이다.
도 9는 본 발명에 따른 반려 동물의 식별을 위한 객체를 검출하는 장치의 블록도이다.1 shows a schematic procedure for AI-based management of companion animals.
2 illustrates examples of images not suitable for learning or identification and images suitable for learning or identification in AI-based management of companion animals.
3 shows a procedure for managing inscriptions of an AI-based companion animal to which the suitability determination of an object image for learning or identification according to the present invention is applied.
4 illustrates a procedure for detecting an object for identification of a companion animal in the companion animal management system according to the present invention.
5 shows an example of a UI (User Interface) screen for detecting an identification object of a companion animal to which the present invention is applied.
6 illustrates a process of detecting an object for identification of a companion animal according to the present invention.
7 shows a process for setting a feature region according to the present invention.
8 is a flowchart of a method of detecting an object for identification of a companion animal according to the present invention.
9 is a block diagram of an apparatus for detecting an object for identification of a companion animal according to the present invention.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다.Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those of ordinary skill in the art to which the present invention pertains can easily implement them. The present invention may be embodied in many different forms and is not limited to the embodiments described herein.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.In order to clearly describe the present invention, parts irrelevant to the description are omitted, and the same reference numerals are assigned to the same or similar elements throughout the specification.
또한, 여러 실시예들에 있어서, 동일한 구성을 가지는 구성요소에 대해서는 동일한 부호를 사용하여 대표적인 실시예에서만 설명하고, 그 외의 다른 실시예에서는 대표적인 실시예와 다른 구성에 대해서만 설명하기로 한다.In addition, in various embodiments, components having the same configuration will be described using the same reference numerals only in the representative embodiment, and only configurations different from the representative embodiment will be described in other embodiments.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(또는 결합)"되어 있다고 할 때, 이는 "직접적으로 연결(또는 결합)"되어 있는 경우뿐만 아니라, 다른 부재를 사이에 두고 "간접적으로 연결(또는 결합)"된 것도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is "connected (or coupled)" with another part, it is not only "directly connected (or coupled)" but also "indirectly connected (or connected)" with another member therebetween. combined)" is also included. In addition, when a part "includes" a certain component, this means that other components may be further included, rather than excluding other components, unless otherwise stated.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. does not
본 문서에서는 강아지의 코 주름 형상(비문)을 활용하여 식별 정보를 추출하는 내용을 중심으로 설명하나, 본 발명에서 반려 동물의 범위는 강아지에 한정되지 않으며, 또한 식별 정보로 사용되는 특징으로서 비문에 한정되지 않고 다양한 반려 동물의 신체적 특징이 사용될 수 있다. In this document, the contents of extracting identification information by utilizing the shape of a dog's nose wrinkle (inscription) are mainly described, but in the present invention, the scope of companion animals is not limited to dogs, and, as a feature used as identification information, It is not limited and various physical characteristics of companion animals may be used.
앞서 설명한 바와 같이, AI 기반의 학습 또는 식별에 적합한 반려 동물의 비문 이미지가 충분하지 않고 반려 동물의 비문 이미지는 그 품질이 낮을 가능성이 크기 때문에 AI 기반의 학습 또는 식별을 위하여 비문 이미지를 선별적으로 데이터베이스에 저장할 필요가 있다. As described above, since the inscription images of companion animals are not sufficient for AI-based learning or identification, and the inscription images of companion animals are likely to be of low quality, the inscription images are selectively selected for AI-based learning or identification. You need to store it in the database.
도 3은 본 발명에 따른 학습 또는 식별용 비문 이미지의 적합도 판단이 적용된 AI 기반의 반려 동물의 비문 관리를 위한 절차를 도시한다. 본 발명은 반려 동물의 비문을 촬영한 후 촬영된 비문 이미지가 AI 기반의 학습 또는 식별을 위한 데이터로서 적합한지 여부를 먼저 판단하고, 적합하다고 판단된 경우 AI 기반의 학습 또는 인식을 위한 서버로 전송 및 저장하여 이후 학습 또는 식별을 위한 데이터로 사용한다. FIG. 3 shows a procedure for managing inscriptions of companion animals based on AI to which judgment of suitability of inscription images for learning or identification according to the present invention is applied. The present invention first determines whether the photographed inscription image is suitable as data for AI-based learning or identification after photographing the inscription of the companion animal, and if it is determined that it is suitable, it is transmitted to the server for AI-based learning or recognition and stored to be used as data for later learning or identification.
도 3에 도시된 것과 같이, 본 발명에 따른 비문 관리 절차는 크게 비문 취득 절차와 비문 인식 절차를 포함한다. As shown in FIG. 3 , the inscription management procedure according to the present invention largely includes an inscription acquisition procedure and an inscription recognition procedure.
본 발명에 따르면, 신규로 반려 동물의 비문을 등록할 때 반려 동물이 포함된 영상을 촬영한 후 반려 동물의 얼굴 영역에서 비문 이미지를 추출하며, 특히 해당 비문 이미지가 해당 반려 동물의 식별 또는 학습을 위하여 적합한 지 여부를 먼저 판단한다. 촬영된 이미지가 식별 또는 학습에 적합하다고 판단된 경우 해당 이미지가 서버(인공지능 신경망)로 전송되어 데이터베이스에 저장된다. According to the present invention, when an inscription of a companion animal is newly registered, an image containing a companion animal is taken, and an image of the inscription is extracted from the face region of the companion animal, and in particular, the inscription image is used to identify or learn the companion animal. First determine whether it is suitable for When it is determined that the captured image is suitable for identification or learning, the image is transmitted to the server (artificial intelligence neural network) and stored in the database.
비문을 통해 반려 동물의 식별 정보를 조회하는 경우, 마찬가지로 반려 동물이 포함된 영상을 촬영한 후 반려 동물의 얼굴 영역에서 비문 이미지를 추출하며, 특히 해당 비문 이미지가 해당 반려 동물의 식별 또는 학습을 위하여 적합한 지 여부를 먼저 판단한다. 촬영된 이미지가 식별 또는 학습에 적합하다고 판단된 경우 해당 이미지가 서버로 전송되고 기존에 저장된 비문 이미지들과의 매칭을 통해 해당 반려 동물의 식별 정보를 추출한다. In the case of inquiring identification information of companion animals through inscriptions, in the same way, after shooting an image containing companion animals, the inscription image is extracted from the companion animal's face area. In particular, the inscription image is used for identification or learning of the companion animal. First determine whether it is suitable or not. When it is determined that the photographed image is suitable for identification or learning, the image is transmitted to the server and the identification information of the companion animal is extracted through matching with the previously stored inscription images.
비문 등록 절차의 경우, 도 3의 (a)와 같이 반려 동물을 촬영하고(S305), 촬영된 반려 동물의 이미지에서 먼저 얼굴 영역(이후 제1 특징 영역으로 설명됨)을 검출하고(S310), 얼굴 영역 내에서 코가 차지하는 영역(이후 제2 특징 영역으로 설명됨)을 검출하고 촬영된 이미지가 학습 또는 식별용으로 적합한지에 대한 품질 검사를 통해 비문 이미지를 출력하고(S315), 출력된 이미지가 인공 신경망을 구성하는 서버로 전송되어 저장 및 등록된다(S320).In the case of the inscription registration procedure, a companion animal is photographed as shown in (a) of FIG. 3 (S305), and a face region (hereinafter described as a first feature region) is first detected in the photographed companion animal image (S310), Detects the area occupied by the nose within the face area (hereinafter referred to as the second characteristic area) and outputs an inscription image through a quality check on whether the captured image is suitable for learning or identification (S315), and the output image is It is transmitted to the server constituting the artificial neural network, stored and registered (S320).
비문 조회 절차의 경우, 도 3의 (b)와 같이 반려 동물을 촬영하고(S330), 반려 동물의 이미지에서 얼굴 영역을 검출하고(S335), 얼굴 영역 내에서 코가 차지하는 영역을 검출하고 촬영된 이미지가 학습 또는 식별용으로 적합한지에 대한 품질 검사를 통해 비문 이미지를 출력하는데(S315), 이는 비문 등록 절차와 유사하다. 이후 절차는 출력된 비문 이미지를 기존에 저장 및 학습된 비문 이미지들과 비교하여 일치하는 정보를 탐색하는 과정(S345)과 탐색 결과에 대한 출력 과정(S350)이 수행된다. In the case of the inscription inquiry procedure, a companion animal is photographed (S330), a face region is detected from the image of the companion animal (S335), and an area occupied by a nose is detected within the face region as shown in FIG. An inscription image is output through a quality check on whether the image is suitable for learning or identification (S315), which is similar to the inscription registration procedure. Thereafter, the process of searching for matching information by comparing the output inscription image with the previously stored and learned inscription images (S345) and outputting the search result (S350) are performed.
도 4는 본 발명에 따른 반려 동물의 비문 관리 시스템에서 반려 동물의 코에 대응하는 객체를 검출하기 위한 절차를 도시한다. 4 illustrates a procedure for detecting an object corresponding to a nose of a companion animal in the system for managing inscriptions of a companion animal according to the present invention.
도 4를 참조하면, 먼저 반려 동물을 촬영하여 초기 이미지가 생성되며(S405), 초기 이미지에서 얼굴 영역을 먼저 검출한다(S410). 이후 얼굴 영역 내에서 반려 동물의 종을 고려하여 코 영역을 검출한다(S415). 1차적으로 얼굴 영역을 먼저 검출하고 2차적으로 코 영역을 검출하는 것은 계단식(cascaded) 검출을 통해 모든 종을 고려하여 코 영역을 검출하는 것 보다 연산 복잡도를 낮출 수 있고 검출 정확도도 향상시킬 수 있기 때문이다. 이후 검출된 코 영역의 이미지가 향후 비문의 식별 또는 학습에 있어 적합한지 여부를 검사하기 위한 품질 검사가 수행되고(S420), 품질 검사 결과 적합한 이미지로 판단된 경우 해당 이미지를 서버로 전송하여 비문의 식별에 사용되거나 향후 학습 또는 식별을 위해 저장될 수 있다(S425). Referring to FIG. 4 , an initial image is generated by first photographing a companion animal (S405), and a face region is first detected from the initial image (S410). Thereafter, the nose region is detected in consideration of the companion animal species within the face region (S415). Detecting the face region first and secondarily detecting the nose region can lower the computational complexity and improve detection accuracy than detecting the nose region considering all species through cascaded detection. Because. Thereafter, a quality check is performed to check whether the detected image of the nose area is suitable for identification or learning of a future inscription (S420), and if it is determined as a suitable image as a result of the quality check, the image is transmitted to the server to It may be used for identification or stored for future learning or identification (S425).
또한, 본 발명에 따르면 강아지의 코 주름(비문)과 같이 반려 동물의 식별을 위한 객체의 이미지가 흐릿하게 촬영되지 않도록 검출된 코 영역에 초점이 맞춰지도록 카메라를 제어할 수 있다(S430). 이는 카메라의 초점이 코 영역에 맞춰지도록 함으로써 코의 초점이 어긋남으로 인해 이미지의 품질이 저하되는 것을 방지하기 위함이다. Also, according to the present invention, it is possible to control the camera to focus on the detected nose region so that the image of an object for identification of a companion animal, such as a dog's nose wrinkle (inscription), is not taken blurry (S430). This is to prevent the image quality from being deteriorated due to the nose being out of focus by making the camera focus on the nose area.
도 5는 본 발명이 적용된 반려 동물의 비문 이미지를 획득하기 위한 UI(User Interface) 화면의 예를 도시한다. 도 5는 여러 반려 동물들 중에서 강아지의 비문을 취득하기 위한 경우를 도시한다. 5 shows an example of a UI (User Interface) screen for obtaining an image of an inscription of a companion animal to which the present invention is applied. 5 shows a case for obtaining a dog's inscription among several companion animals.
도 5를 참고하면, 촬영중인 영상에서 반려 동물의 종을 식별하여 현재 촬영중인 반려 동물이 강아지인지 여부를 판단한다. 촬영중인 반려 동물이 강아지가 아닌 경우 도 5와 같이 '강아지를 찾을 수 없어요'와 같은 문구를 출력하고, 촬영중인 반려 동물이 강아지인 경우 강아지의 비문을 획득하기 위한 절차를 수행한다. 촬영중인 반려 동물이 강아지인지 여부를 판단하기 위하여 영상에 포함된 반려 동물의 얼굴 영역을 먼저 추출하고, 얼굴 영역에 포함된 이미지를 기존의 학습된 데이터와 비교하여 해당 반려 동물의 종(Species)을 결정할 수 있다. Referring to FIG. 5 , it is determined whether the companion animal currently being photographed is a dog by identifying the species of the companion animal in the image being photographed. If the companion animal being photographed is not a dog, a phrase such as 'cannot find a dog' is output as shown in FIG. 5, and if the companion animal being photographed is a dog, a procedure for obtaining the dog's inscription is performed. In order to determine whether the companion animal being photographed is a dog, the face region of the companion animal included in the image is first extracted, and the image included in the face region is compared with the existing learned data to determine the species of the companion animal. can decide
이후, 강아지의 얼굴에서 강아지의 코에 해당하는 영역을 설정한 후 코에 해당하는 영역에 초점을 맞추어 촬영을 지속한다. 도 5와 같이 강아지가 지속적으로 움직이는 경우에도 강아지의 코를 추적하면서 코에 초점을 맞춰 촬영이 수행될 수 있다. 이때 각 촬영된 영상에서 강아지의 비문 이미지가 반려 동물의 식별 또는 학습을 위하여 적합한지 여부를 판단하고, 적합성에 대한 정도를 도 5와 같이 출력할 수 있다. 비문 이미지가 반려 동물의 식별 또는 학습을 위하여 적합한지에 대한 정도가 수치로서 계산될 수 있으며, 적합도에 대한 수치에 따라 적합도가 낮을수록 'BAD' 방향으로, 적합도가 높을 수록 'GOOD' 방향으로 그래픽이 출력될 수 있다. 강아지의 비문 이미지가 충분히 획득된 경우, 촬영을 종료하고 해당 강아지의 비문 이미지와 함께 식별 정보를 데이터베이스에 저장하거나 해당 강아지의 식별 정보를 출력할 수 있다. Thereafter, after setting an area corresponding to the dog's nose on the dog's face, focusing on the region corresponding to the nose, and shooting is continued. As shown in FIG. 5 , even when the dog is continuously moving, the photographing may be performed by focusing on the nose while tracking the dog's nose. In this case, it may be determined whether the image of the dog's inscription in each captured image is suitable for identification or learning of a companion animal, and the degree of suitability may be output as shown in FIG. 5 . The degree of whether the inscription image is suitable for identification or learning of a companion animal can be calculated as a numerical value, and according to the numerical value for the fit, the lower the fit, the better the graphic is. can be output. When the image of the inscription of the dog is sufficiently obtained, the shooting may end and the identification information may be stored in the database together with the image of the inscription of the dog or the identification information of the dog may be output.
본 발명에서, 반려 동물의 얼굴 영역을 먼저 검출한 이후 얼굴 영역 내에서 코 영역을 검출한다. 이는 연산 복잡도를 저감시키면서 객체 검출 난이도를 낮추기 위함이다. 영상을 촬영하는 과정에서 검출하고자 하는 객체 이외의 물체 또는 불필요하거나 잘못된 정보가 영상에 포함될 수 있다. 따라서, 본 발명은 촬영중인 영상에서 원하는 객체(반려 동물의 코)가 존재하는지 여부를 먼저 판단한다. In the present invention, the face region of the companion animal is first detected, and then the nose region is detected within the face region. This is to reduce the difficulty of object detection while reducing computational complexity. In the process of capturing an image, an object other than an object to be detected or unnecessary or erroneous information may be included in the image. Therefore, in the present invention, it is first determined whether a desired object (the nose of a companion animal) exists in the image being photographed.
또한, 반려 동물의 비문을 식별하기 위하여는 일정 수준 이상의 해상도를 갖는 영상이 요구되지만 영상의 해상도가 높아질수록 영상의 처리를 위한 연산량이 증가하게 되는 문제가 있다. 또한, 반려 동물의 종류가 증가함에 따라 각 반려 동물의 종류 별로 학습 방법이 상이하기 때문에 인공지능의 연산 난이도가 더욱 증가하게 되는 문제가 있다. 특히, 유사한 종류의 동물은 비슷한 형상을 가지기 때문에(예: 강아지의 코와 늑대의 코는 유사함) 유사한 동물에 대하여 동물의 종류와 함께 코를 분류하는 것은 매우 높은 연산 난이도를 가질 수 있다. In addition, in order to identify the inscription of the companion animal, an image having a resolution higher than a certain level is required, but as the resolution of the image increases, the amount of computation for image processing increases. In addition, as the types of companion animals increase, there is a problem in that the computational difficulty of artificial intelligence further increases because a learning method is different for each type of companion animal. In particular, since similar types of animals have similar shapes (eg, a dog's nose and a wolf's nose are similar), classifying a nose with an animal type for a similar animal may have a very high computational difficulty.
따라서, 본 발명은 이러한 연산 복잡도를 저감시키기 위하여 계단식(cascaded) 객체 검출 방법을 사용한다. 예를 들어, 반려 동물을 촬영하면서 반려 동물의 얼굴 영역을 먼저 검출한 후 반려 동물의 종류를 먼저 식별하고, 검출된 반려 동물의 얼굴 영역과 식별된 반려 동물의 종류에 기초하여 해당 반려 동물의 코 영역을 검출한다. 이는 상대적으로 연산 복잡도가 낮은 저해상도에서 반려 동물의 종류를 식별하는 과정을 먼저 수행하고 반려 동물의 종류에 따라 결정된 객체 검출 방법을 적용하여 반려동물의 얼굴 영역에서 고해상도를 유지하며 코 영역 검출을 수행하는 것이다. 그리하여, 본 발명은 상대적으로 연산 복잡도를 저감시키면서도 효과적으로 반려 동물의 코 영역을 검출할 수 있다. Accordingly, the present invention uses a cascaded object detection method to reduce the computational complexity. For example, while photographing a companion animal, the face region of the companion animal is detected first, and the type of the companion animal is first identified. detect the area. This involves first performing the process of identifying the type of companion animal at low resolution with relatively low computational complexity, and then applying the object detection method determined according to the type of companion animal to maintain high resolution in the companion animal's face area and perform nose area detection. will be. Thus, the present invention can effectively detect the nose region of a companion animal while relatively reducing computational complexity.
도 6은 본 발명에 따른 반려 동물의 식별을 위한 전반적인 영상 처리 과정을 도시한다. 도 6에 도시된 것과 같이, 본 발명에 의한 입력 영상을 처리하는 방법은 카메라에서 입력 영상을 받아오는 단계(S605), 입력 영상의 크기를 조정하여 1차 처리 영상을 생성하는 제1 전처리 단계(S610), 제1 전처리 단계에서 생성된 처리 영상으로부터 동물의 위치와 동물의 종을 검출하는 제1 특징 영역 검출 단계(S615), 제1 특징 영역 검출 단계의 결과물로부터 동물 영상의 제1 특징 값을 추출하는 제1 후처리 단계(S620), 제1 후처리 단계를 통해 처리된 영상에서 반려 동물의 종에 따라 반려 동물의 식별을 위한 객체(예: 코)를 검출하기 위한 검출기를 결정하는 단계(S625), 반려 동물의 식별을 위한 영상 처리를 위하여 영상의 크기를 조절하는 제2 전처리 단계(S630), 제1 특징 검출 단계에서 검출할 수 있는 동물의 종에 각각 대응하는 적어도 하나의 제2 특징 영역 검출 단계(S635), 각각의 제2 특징 영역 검출 단계에 대응하여 동물 영상의 제2 특징 값을 추출하는 제2 후처리 단계(S640)를 포함한다.6 illustrates an overall image processing process for identification of a companion animal according to the present invention. As shown in FIG. 6 , the method for processing an input image according to the present invention includes a step of receiving an input image from a camera (S605), a first pre-processing step of generating a primary processed image by adjusting the size of the input image ( S610), the first feature region detection step of detecting the position and species of the animal from the processed image generated in the first preprocessing step (S615), and the first feature value of the animal image from the results of the first feature region detection step A first post-processing step of extracting (S620), a step of determining a detector for detecting an object (eg, nose) for identification of a companion animal according to the species of the companion animal in the image processed through the first post-processing step ( S625), a second pre-processing step of adjusting the size of an image for image processing for identification of a companion animal (S630), and at least one second feature corresponding to an animal species that can be detected in the first feature detecting step, respectively A second post-processing step ( S640 ) of extracting a second feature value of the animal image corresponding to the region detection step ( S635 ) and each second feature region detection step is included.
제1 전처리 단계first pretreatment step
원본 영상에 대한 제1 전처리를 적용하는 단계(S610)는 원본 영상의 크기, 비율, 방향 등을 조절하여 객체 검출에 적합한 형태로 영상을 변환하는 단계이다. The step of applying the first pre-processing to the original image ( S610 ) is a step of converting the image into a form suitable for object detection by adjusting the size, ratio, direction, etc. of the original image.
카메라 기술의 발달에 따라, 입력 영상은 대부분 수백만에서 수천만 화소로 구성되며, 이렇게 큰 영상을 직접 처리하는 것은 바람직하지 않다. 객체 검출이 효율적으로 작동하려면 입력 영상을 처리하기 적당하도록 전처리 과정을 수행해야 한다. 이러한 과정은 수학적으로는 좌표계 변환으로 이루어진다.With the development of camera technology, the input image is mostly composed of millions to tens of millions of pixels, and it is not desirable to directly process such a large image. In order for object detection to work efficiently, preprocessing must be performed to make the input image suitable for processing. This process is mathematically performed as a coordinate system transformation.
입력 영상 내의 임의의 4점을 처리 영상의 네 꼭지점에 대응시키고, 임의의 좌표계 변환 과정을 거침으로써 임의의 처리 영상을 생성할 수 있음은 명백하다. 그러나 좌표계 변환 과정에 있어 임의의 비선형 변환 함수를 사용하는 경우, 특징 영역 검출기의 결과로 획득한 경계 상자로부터 입력 영상의 특징 영역을 얻는 역변환이 가능하여야 한다. 예를 들면, 입력 영상의 임의의 4점을 처리 영상의 네 꼭지점에 대응시켜 선형 변환하는 아핀 변환(Affine Transformation)을 사용하면 손쉽게 그 역변환 과정을 얻을 수 있으므로 이를 사용함이 바람직하다. It is clear that an arbitrary processed image can be generated by matching any four points in the input image to the four vertices of the processed image and performing an arbitrary coordinate system transformation process. However, when an arbitrary nonlinear transformation function is used in the coordinate system transformation process, inverse transformation to obtain the feature region of the input image from the bounding box obtained as a result of the feature region detector must be possible. For example, it is preferable to use an affine transformation (Affine Transformation), which linearly transforms four arbitrary points of an input image by matching four vertices of the processed image, because the inverse transformation process can be easily obtained.
입력 영상 내의 임의의 4점을 결정하는 방법의 일 예로, 입력 영상의 네 꼭지점을 그대로 사용하는 방법을 생각할 수 있다. 또는, 가로 길이와 세로 길이가 같은 비율로 변환될 수 있도록, 입력 영상에 여백을 덧붙이거나, 또는 입력 영상의 일부를 잘라내는 방법을 사용할 수 있다. 또는 입력 영상의 크기를 축소시키기 위하여 다양한 보간 방법을 적용할 수 있다. As an example of a method of determining four arbitrary points in the input image, a method of using four vertices of the input image as it is may be considered. Alternatively, a method of adding a blank space to the input image or cutting out a part of the input image may be used so that the horizontal and vertical lengths are converted at the same ratio. Alternatively, various interpolation methods may be applied to reduce the size of the input image.
제1 특징 영역 검출 단계first feature region detection step
본 단계는 전처리된 영상 내에서 반려 동물이 존재하는 영역과 그 동물의 종(種)을 먼저 검출함으로써, 후술할 제2 특징 영역 검출 단계에서 사용할 수 있는 제1 특징 영역을 설정하고, 더불어 각 반려 동물의 종에 최적화된 제2 특징 영역 검출기를 선택함으로써 최종적인 특징점 검출 성능을 올리는 데에 그 목적을 둔다. In this step, by first detecting the region where the companion animal exists and the species of the animal in the pre-processed image, the first characteristic region that can be used in the second characteristic region detection step to be described later is set, and each companion animal It aims to improve the final feature point detection performance by selecting the second feature region detector optimized for the animal species.
본 과정에 있어 객체 검출 및 분류 방법은 관련 분야에 통상적인 지식을 가진 자라면 어느 것이던 용이하게 결합할 수 있을 것이다. 그러나, 종래의 방법과 대비하여 인공 신경망에 기반한 방법이 성능이 우수한 것으로 알려져 있으므로, 가급적 인공 신경망에 기반한 특징 검출 기법을 사용하는 것이 바람직하다. 예를 들어, 도 7에 도시된 것과 같이 인공 신경망에 한 장의 이미지에 대하여 여러 가지 크기의 물체를 검출하는 알고리즘인 SSD(Single-Shot Multibox Detection) 방식의 특징 검출기가 사용될 수 있다. In this process, the object detection and classification method can be easily combined by any person with ordinary knowledge in the related field. However, since the method based on the artificial neural network is known to have superior performance compared to the conventional method, it is preferable to use a feature detection technique based on the artificial neural network as much as possible. For example, as shown in FIG. 7 , a feature detector of a single-shot multibox detection (SSD) type, which is an algorithm for detecting objects of various sizes with respect to one image, may be used in an artificial neural network.
앞서 설명한 전처리기에 따라 정규화된 입력 영상은, 인공 신경망에 의하여 계층적으로 제1 특징 영상부터 제n 특징 영상을 구성하게 된다. 이 때 각 계층마다 특징 영상을 추출하는 방법은 인공 신경망의 학습 단계에서 기계적으로 학습될 수 있다.The input image normalized according to the preprocessor described above is hierarchically configured from the first feature image to the nth feature image by the artificial neural network. In this case, a method of extracting a feature image for each layer may be mechanically learned in the learning step of the artificial neural network.
이렇게 추출된 계층적 특징 영상은, 각 계층마다 대응되는 사전 정의된 상자(Priori Box) 목록과 결합되어 경계 상자와 개체 종류, 그리고 신뢰도 값 목록을 생성하게 된다. 이러한 연산 과정 또한 인공 신경망의 학습 단계에서 기계적으로 학습될 수 있다. 예를 들어 그 결과값은 아래의 표 1과 같은 형식으로 반환된다. 이 때 신경망이 판단할 수 있는 종의 개수는 신경망 설계 단계에서 결정되며, 암묵적으로 객체가 존재하지 않는 경우, 즉 "배경"이 정의된다.The hierarchical feature image extracted in this way is combined with a list of predefined boxes corresponding to each layer to generate a list of bounding boxes, object types, and reliability values. This computational process may also be mechanically learned in the learning stage of the artificial neural network. For example, the result is returned in the format shown in Table 1 below. At this time, the number of species that the neural network can determine is determined in the neural network design stage, and when an object does not exist implicitly, that is, “background” is defined.
이러한 결과 상자는 Non-Maximum Suppression 단계를 통하여 중첩되는 결과 상자들을 병합하여 최종적으로 영상 내에 존재하는 객체 검출 결과로 반환된다. 이 과정을 상세히 설명하면 다음과 같다.These result boxes are finally returned as object detection results in the image by merging the overlapping result boxes through the Non-Maximum Suppression step. A detailed description of this process is as follows.
1. 배경을 제외한 각각의 종에 대하여 각각 다음 과정을 수행한다.1. Perform the following procedure for each species except for the background.
A. 경계 상자 목록에서, 해당 종일 확률이 특정 문턱 값 보다 낮은 상자를 제외한다. 남은 상자가 없다면 결과 없음으로 종료한다.A. From the list of bounding boxes, exclude boxes whose species probability is lower than a certain threshold. If there are no boxes left, exit with no results.
B. 상기 경계 상자 목록에서, 해당 종일 확률이 가장 높은 상자를 제1 상자로 지정하고 경계 상자 목록에서 제외한다.B. In the bounding box list, the box with the highest probability of the species is designated as the first box and excluded from the bounding box list.
C. 나머지 경계 상자 목록에 대하여, 확률이 높은 순서에 따라 각각 다음 과정을 수행한다.C. For the rest of the bounding box list, each of the following processes is performed in the order of highest probability.
i. 제1 상자와의 교집합 대 합집합 면적 비(Intersection over Union)를 연산한다.i. The intersection over union with the first box is calculated.
ii. IoU가 특정 문턱 값보다 높다면, 이 상자는 제1 상자와 중첩되는 상자이다. 제1 상자와 병합한다.ii. If the IoU is higher than a certain threshold, this box is a box overlapping the first box. Merge with the first box.
D. 제 1 상자를 결과 상자 목록에 추가한다.D. Add the first box to the list of result boxes.
E. 경계 상자 목록에 상자가 남아 있다면, 남은 상자를 대상으로 다시 C 단계부터 반복한다.E. If there are still boxes in the bounding box list, repeat from step C again for the remaining boxes.
두 상자 A와 B에 대하여, 교집합 대 합집합 면적비는 아래의 수학식 1과 같이 효과적으로 연산할 수 있다. For two boxes A and B, the intersection to union area ratio can be effectively calculated as in Equation 1 below.
상기 과정에서 제1 상자와 중첩되는 상자를 병합하는 방법에 대해 설명하면 다음과 같다. 예를 들어, 제1 상자는 그대로 유지하고 제2 상자는 경계 상자 목록에서 삭제하는 방법으로 병합할 수 있다 (Hard NMS). 또는, 제1 상자는 그대로 유지하고 제2 상자가 특정 종일 확률을 (0, 1) 사이의 값만큼 가중치를 주어 감소시키고, 감쇄된 결과값이 특정 문턱 값보다 작다면 비로소 경계 상자 목록에서 삭제하는 방법으로 병합할 수 있다 (Soft NMS).A method of merging the first box and the overlapping box in the above process will be described as follows. For example, you can merge the first box by keeping it as it is and deleting the second box from the bounding box list (Hard NMS). Alternatively, the first box is maintained as it is, and the second box reduces the probability of a specific species by weighting it by a value between (0, 1), and if the attenuated result value is smaller than a specific threshold value, it is only deleted from the bounding box list. method (Soft NMS).
마지막으로, 이렇게 결정된 하나 또는 복수 개의 경계 상자에 대하여, 전처리 단계에서 사용한 임의의 변환 과정에 대한 역변환 과정을 거침으로써 원본 영상에서의 특징 영역을 얻을 수 있음은 당연하다. 구성에 따라서는 원본 영상에서의 특징 영역에 일정량의 여백을 덧붙임으로써 후술할 제2 검출 단계를 잘 수행할 수 있도록 조정할 수 있다.Finally, it goes without saying that the feature region in the original image can be obtained by performing an inverse transformation process with respect to an arbitrary transformation process used in the pre-processing step for one or a plurality of bounding boxes determined in this way. Depending on the configuration, by adding a certain amount of blank space to the feature region in the original image, the second detection step, which will be described later, may be adjusted to be well performed.
제1 후처리 단계first post-processing step
앞서 기술한 제1 특징 영역 설정 단계(S720)에서 획득된 입력 영상의 각 특징 영역에 대하여, 추가적인 후처리 단계를 수행함으로써 제1 특징 값을 생성할 수 있다. 예를 들어, 입력 영상의 제1 특징 영역에 대한 밝기 정보(제1 특징 값)를 획득하기 위해 아래의 수학식 2와 같은 연산을 수행할 수 있다.The first feature value may be generated by performing an additional post-processing step on each feature region of the input image obtained in the step S720 of setting the first feature region described above. For example, in order to obtain brightness information (first feature value) on the first feature region of the input image, an operation as in Equation 2 below may be performed.
이 때 L은 BT.601 표준에 따른 Luma 값이며, V는 HSV 색공간에서 정의하는 명도 값이다. M, N은 대상 특징 영역의 가로 너비와 세로 높이이다.In this case, L is the Luma value according to the BT.601 standard, and V is the brightness value defined in the HSV color space. M and N are the horizontal width and vertical height of the target feature region.
이렇게 추가적으로 생성한 제1 특징 값을 이용하여, 제1 특징 영역 검출 단계(S615)에서 획득한 제1 특징 영역이 본 특허와 결합되는 응용 분야에서 사용하는데 적합한지 예측할 수 있다. 추가적으로 생성되는 제1 특징 값은 응용 분야에 따라 적절하게 설계되어야 함은 자명하다. 응용 분야에서 정의하는 제1 특징 값의 조건을 충족하지 않는 경우, 선택적으로 후술하는 제2 특징 영역 설정 및 객체 검출 단계를 생략하도록 시스템을 구성할 수 있다.By using the additionally generated first feature value, it may be predicted whether the first feature region obtained in the step of detecting the first feature region ( S615 ) is suitable for use in an application field combined with the present patent. It is obvious that the additionally generated first feature value should be appropriately designed according to an application field. If the condition of the first feature value defined in the application field is not satisfied, the system may be configured to selectively omit the second feature region setting and object detection steps, which will be described later.
제2 특징 영역 검출 단계second feature region detection step
본 단계는 동물이 존재하는 영역에서 구체적으로 응용 분야에서 필요로 하는 특징 영역을 추출하는 것을 목적으로 한다. 예를 들어, 동물의 얼굴 영역에서 눈, 코, 입, 귀의 위치를 검출해 내는 응용 분야를 예를 들면, 제1 특징 영역 검출 단계에서는 동물의 얼굴 영역과 동물의 종 정보를 우선 구분하고, 제2 특징 영역 검출 단계에서는 동물의 종에 따라 눈, 코, 입, 귀 위치를 검출해 내는 것을 목적으로 한다.The purpose of this step is to extract a feature region specifically required in the application field from the region where the animal exists. For example, in an application field that detects the positions of eyes, nose, mouth, and ears in an animal's face region, in the first feature region detection step, the animal's face region and animal species information are first distinguished, and the 2 In the feature area detection step, the purpose of detecting the positions of the eyes, nose, mouth, and ears according to the animal species.
이 과정에 있어, 제2 특징 영역 검출 단계는 각각의 동물의 종에 특화된 서로 독립된 복수 개의 특징 영역 검출기로 구성될 수 있다. 예를 들어, 제1 특징 영역 검출 단계에서 개, 고양이, 햄스터를 구분할 수 있다면, 3개의 제2 특징 영역 검출기를 두고 각각을 개, 고양이, 햄스터에 대해 특화되도록 설계하는 것이 바람직하다. 이렇게 함으로써, 개별 특징 영역 검출기에서 학습하여야 하는 특징 종류를 감소시켜 학습 복잡도를 감소시킬 수 있으며, 또한 학습 데이터 수집 측면에서도 더 적은 숫자의 데이터 만으로도 신경망 학습이 가능하게 됨은 자명하다.In this process, the step of detecting the second characteristic region may consist of a plurality of independent characteristic region detectors specialized for each animal species. For example, if dogs, cats, and hamsters can be distinguished in the first characteristic region detection step, it is preferable to design three second characteristic region detectors to be specialized for dogs, cats, and hamsters. In this way, it is possible to reduce the learning complexity by reducing the types of features to be learned by the individual feature region detector, and it is self-evident that neural network learning is possible even with a smaller number of data in terms of learning data collection.
각각의 제2 특징 영역 검출기는 서로 독립적으로 구성되므로, 통상적인 지식 소유자라면 독립된 개별 검출기를 손쉽게 구성이 가능하다. 각각의 특징 영역 검출기는 각각의 종에서 검출하려는 특징 정보에 맞게끔 개별적으로 구성하는 것이 바람직하다. 또는, 시스템 구성의 복잡도를 감소시키기 위하여, 일부 또는 모든 제2 특징 영역 검출기가 같은 구조의 특징 영역 검출기를 공유하되, 학습 파라미터 값을 교체함으로써 각각의 종에 적합하게 시스템을 구성하는 방법을 사용할 수 있다. 더욱 나아가, 제2 특징 영역 검출기로 제1 특징 영역 검출 단계와 동일한 구조의 특징 영역 검출기를 사용하되, 학습 파라미터 값과 NMS 방법만을 교체함으로써 시스템 복잡도를 더욱 감소시키는 방법을 고려할 수도 있다.Since each of the second feature region detectors is configured independently of each other, an ordinary knowledge holder can easily configure an independent individual detector. Preferably, each feature region detector is individually configured to suit the feature information to be detected in each species. Alternatively, in order to reduce the complexity of the system configuration, some or all of the second feature region detectors share the feature region detectors having the same structure, but a method of configuring the system suitable for each species by replacing the learning parameter values may be used. have. Furthermore, a method of further reducing system complexity by using a feature region detector having the same structure as the first feature region detection step as the second feature region detector, but replacing only the learning parameter values and the NMS method may be considered.
제1 특징 영역 검출 단계 및 제1 후처리 단계를 통하여 설정된 하나 또는 복수 개의 특징 영역에 대하여, 제1 특징 영역 검출 단계에서 검출한 종 정보를 이용하여 어떤 제2 특징 영역 검출기를 사용할 지 결정하고, 결정된 제2 특징 영역 검출기를 이용하여 제2 특징 영역 검출 단계를 수행한다.For one or a plurality of feature regions set through the first feature region detection step and the first post-processing step, determine which second feature region detector to use using the species information detected in the first feature region detection step; A second feature region detection step is performed using the determined second feature region detector.
먼저 전처리 과정을 수행한다. 이 때 좌표를 변환하는 과정에서, 역변환이 가능한 변환 과정을 사용해야 함은 자명하다. 제2 전처리 과정에서는 입력 영상 내에서 검출된 제1 특징 영역을 제2 특징 영역 검출기의 입력 영상으로 변환하여야 하므로 변환 함수를 설계하는데 필요한 4개 점은 제1 특징 영역의 네 꼭지점으로 정의함이 바람직하다.First, preprocessing is performed. In this case, in the process of transforming the coordinates, it is obvious that a transformation process capable of inverse transformation should be used. In the second preprocessing process, since the first feature region detected in the input image must be converted into the input image of the second feature region detector, it is preferable to define the four points necessary for designing the transformation function as four vertices of the first feature region. do.
제2 특징 영역 검출기를 통하여 획득한 제2 특징 영역은 제1 특징 영역을 이용하여 검출된 값이므로, 전체 입력 영상 내에서 제2 특징 영역을 연산할 때에는 제1 특징 영역을 고려하여야 한다.Since the second feature region obtained through the second feature region detector is a value detected using the first feature region, the first feature region must be considered when calculating the second feature region within the entire input image.
제2 특징 영역 검출기를 통하여 획득한 제2 특징 영역에 대하여, 제1 후처리 단계와 유사하게 추가적인 후처리 단계를 수행함으로써 제2 특징 값을 생성할 수 있다. 예를 들어, 영상의 선명도를 구하기 위하여 Sobel filter를 적용하거나, 또는 특징 영역 사이에 검출 여부 및 상대적인 위치 관계를 이용하여, 검출하려는 동물의 자세 등의 정보를 구할 수 있다.A second feature value may be generated by performing an additional post-processing step similar to the first post-processing step on the second feature area obtained through the second feature area detector. For example, information such as the posture of an animal to be detected may be obtained by applying a Sobel filter to obtain image sharpness, or by using detection and relative positional relationship between feature regions.
이렇게 추가적으로 생성한 제2 특징 값을 이용하여, 제2 객체 검출 단계에서 획득한 특징 영역이 본 특허와 결합되는 응용 분야에서 사용하는데 적합한지 예측할 수 있다. 추가적으로 생성되는 제2 특징 값은 응용 분야에 따라 적절하게 설계되어야 함은 자명하다. 응용 분야에서 정의하는 제2 특징 값의 조건을 충족하지 않는 경우, 제2 검출 영역뿐만 아니라 제1 검출 영역을 검출 결과에서 제외하는 등 응용 분야에 적합하게 데이터를 취득할 수 있도록 설계함이 바람직하다.By using the additionally generated second feature value, it can be predicted whether the feature region obtained in the second object detection step is suitable for use in an application field combined with the present patent. It is obvious that the additionally generated second feature value should be appropriately designed according to an application field. When the condition of the second feature value defined in the application field is not satisfied, it is preferable to design so that data can be acquired suitable for the application field, such as excluding the first detection area as well as the second detection area from the detection result. .
시스템 확장system expansion
본 발명에서는 2단계의 검출 단계를 구성함으로써, 제1 특징 위치 검출 단계에서는 동물의 위치와 종을 검출하고, 이 결과에 따라 제2 특징 위치 검출 단계에서 사용하는 검출기를 선택하는 시스템과 구성 방법의 예를 들었다.In the present invention, by configuring two detection steps, the first feature location detection step detects the position and species of an animal, and the system and method of configuring a detector to be used in the second feature location detection step are selected according to the results. For example.
이러한 계단식 구성(cascade configuration)은 손쉽게 다층 계단식 구성으로 확장될 수 있다. 예를 들어, 제1 특징 위치 검출 단계에서는 동물의 몸 전체를 검출하고, 제2 특징 위치 검출 단계에서는 동물의 얼굴 위치와 팔다리 위치를 검출하고, 제3 특징 위치 검출 단계에서는 얼굴에서 눈, 코, 입, 귀의 위치를 검출하는 등의 응용 구성이 가능하다.This cascade configuration can be easily extended to a multi-layer cascade configuration. For example, in the first feature position detection step, the entire body of the animal is detected, in the second feature location detection step, the face position and limb position of the animal are detected, and in the third feature position detection step, the eyes, nose, Applications such as detecting the position of the mouth and ears are possible.
이러한 다층 계단식 구성을 사용함으로써 동시에 여러 계층의 특징 위치 취득이 가능한 시스템을 손쉽게 설계할 수 있다. 다층 계단식 시스템을 설계함에 있어 층 수를 결정하는 데에는 취득하고자 하는 특징 위치의 계층 도메인, 전체 시스템의 동작 시간과 복잡도, 그리고 각각의 개별 특징 영역 검출기를 구성하는데 필요한 자원 등을 고려하여야 최적의 계층 구조를 설계할 수 있음은 자명하다.By using such a multi-layer cascading configuration, it is possible to easily design a system capable of acquiring feature locations of several layers at the same time. In designing a multi-layer cascading system, in determining the number of layers, the hierarchical domain of the feature location to be acquired, the operating time and complexity of the entire system, and the resources required to construct each individual feature region detector should be considered. It is obvious that it is possible to design
도 8은 본 발명에 따른 반려 동물의 비문 관리 시스템에서 반려 동물의 코에 대응하는 객체를 검출하기 위한 방법의 흐름도이다. 도 6 내지 도 9의 동작들은 반려 동물의 비문 인식을 위한 프로그램 또는 어플리케이션이 설치된 스마트폰, 태블릿과 같은 장치에 의해 수행될 수 있다. 8 is a flowchart of a method for detecting an object corresponding to a nose of a companion animal in the system for managing inscriptions of a companion animal according to the present invention. The operations of FIGS. 6 to 9 may be performed by a device, such as a smartphone or tablet, in which a program or application for recognizing inscriptions of a companion animal is installed.
본 발명에 따른 반려 동물의 식별을 위한 객체를 검출하기 위한 방법은, 반려 동물(예: 강아지)이 포함된 원본 영상을 획득하는 단계(S810)와, 원본 영상에 대한 영상 처리를 통해 제1 특징 영역과 반려 동물의 종(種)을 결정하는 단계(S820)와, 결정된 반려 동물의 종(種)에 기초하여 제1 특징 영역 내에서 반려 동물의 식별을 위한 객체(예: 코)를 검출하는 단계(S830)를 포함한다. The method for detecting an object for identification of a companion animal according to the present invention includes the steps of obtaining an original image including a companion animal (eg, a dog) (S810), and performing image processing on the original image to obtain the first feature Determining the region and the species of the companion animal (S820), and detecting an object (eg, nose) for identification of the companion animal within the first characteristic region based on the determined species of the companion animal Step S830 is included.
S810 단계에서, 도 4의 (a)와 같이 반려 동물의 객체 인식을 위한 어플리케이션이 실행된 상태에서 활성화된 카메라를 통해 반려 동물이 포함된 원본 영상이 획득된다. 여기서 반려 동물이 원활하게 촬영될 수 있도록 조도, 초점 등이 조절될 수 있다. 여기서 획득된 영상이 도 6 및 도 7의 입력 영상으로 제공될 수 있다. 이후 앞서 설명한 바와 같이 계단식(cascaded) 객체 검출을 위하여 반려 동물의 종을 결정하는 단계(S820) 및 반려 동물의 객체를 검출하는 단계(S830)가 수행될 수 있다. In step S810 , as shown in FIG. 4A , an original image including a companion animal is acquired through an activated camera while the application for object recognition of the companion animal is running. Here, illumination, focus, etc. may be adjusted so that the companion animal can be photographed smoothly. The image obtained here may be provided as the input image of FIGS. 6 and 7 . Thereafter, as described above, in order to detect a cascaded object, the step of determining the species of the companion animal ( S820 ) and the step of detecting the object of the companion animal ( S830 ) may be performed.
S820 단계에서, 반려 동물의 종을 식별하기 위한 절차가 수행된다. 본 발명에 따르면, 상기 반려 동물의 종을 결정하는 단계(S820)는, 원본 영상에 대한 제1 전처리를 적용하는 단계와, 전처리된 영상에서 반려 동물의 종을 식별하고 상기 제1 특징 영역을 설정하는 단계와, 제1 특징 영역에 대한 제1 후처리를 통해 제1 특징 값을 추출하는 단계를 포함할 수 있다. In step S820, a procedure for identifying the species of the companion animal is performed. According to the present invention, the step of determining the species of the companion animal ( S820 ) includes the steps of applying a first pre-processing to the original image, identifying the species of the companion animal in the pre-processed image, and setting the first feature area and extracting a first feature value through a first post-processing of the first feature region.
원본 영상에 대한 제1 전처리를 적용하는 단계는 앞서 도 6의 S610 단계를 참조하여 설명한 것과 같이 원본 영상의 크기, 비율, 방향 등을 조절하여 객체 검출에 적합한 형태로 영상을 변환하는 단계이다. The step of applying the first preprocessing to the original image is a step of converting the image into a form suitable for object detection by adjusting the size, ratio, direction, etc. of the original image, as described above with reference to step S610 of FIG. 6 .
제1 특징 영역을 설정하는 단계는 영상에서 반려 동물이 존재하는 영역과 그 반려 동물의 종을 검출하는 단계로서, 후술할 제2 특징 영역 검출 단계에서 사용할 수 있는 제1 특징 영역을 설정하고, 더불어 각 반려 동물의 종에 최적화된 제2 특징 영역 검출기를 선택함으로써 최종적인 특징점 검출 성능을 개선하기 위함이다. The step of setting the first feature region is a step of detecting the region in which the companion animal is present and the species of the companion animal in the image. This is to improve the final feature point detection performance by selecting a second feature region detector optimized for the species of each companion animal.
본 발명에 따르면, 제1 특징 영역을 설정하는 단계는, 학습용 신경망을 사용하여 상기 전처리된 영상을 복수개의 특징 영상으로 구분하는 단계와, 복수의 특징 영상에 각각에 대하여 사전에 정의된 경계 상자를 적용하는 단계와, 경계 상자 내에서 각 반려 동물의 종류 별 확률 값을 계산하는 단계와, 특정 동물 종에 대하여 계산된 확률 값이 기준치 이상인 경우 경계 상자가 포함되도록 제1 특징 영역을 구성하는 단계를 포함할 수 있다. According to the present invention, the step of setting the first feature region includes the steps of dividing the preprocessed image into a plurality of feature images using a neural network for learning, and a predefined bounding box for each of the plurality of feature images. applying the steps, calculating a probability value for each type of companion animal within the bounding box, and configuring the first feature area to include the bounding box when the calculated probability value for a specific animal species is greater than or equal to the reference value. may include
앞서 설명한 바와 같이, 전처리기에 따라 정규화된 입력 영상은 인공 신경망에 의하여 계층적으로 제1 특징 영상부터 제n 특징 영상을 구성하게 된다. 이 때 각 계층마다 특징 영상을 추출하는 방법은 인공 신경망의 학습 단계에서 기계적으로 학습될 수 있다.As described above, the input image normalized according to the preprocessor is hierarchically configured from the first feature image to the nth feature image by the artificial neural network. In this case, a method of extracting a feature image for each layer may be mechanically learned in the learning step of the artificial neural network.
이렇게 추출된 계층적 특징 영상은, 각 계층마다 대응되는 사전 정의된 경계 상자(Priori Box) 목록과 결합되어 경계 상자와 개체 종류, 그리고 신뢰도 값(확률 값) 목록을 생성하고, 결과적으로 표 1과 같은 형식으로 출력될 수 있다. The hierarchical feature image extracted in this way is combined with a list of predefined bounding boxes corresponding to each layer to generate a list of bounding boxes, object types, and confidence values (probability values). It can be output in the same format.
이후, 특정 경계 상자에서 특정 동물 종류의 확률 값이 기준치 이상인 경우 해당 경계 상자가 제1 특징 영역에 포함될 수 있도록 제1 특징 영역을 설정한다. Thereafter, when the probability value of the specific animal type in the specific bounding box is equal to or greater than the reference value, the first feature region is set so that the corresponding bounding box can be included in the first feature region.
한편, 앞서 설명한 것과 같이 반려 동물의 얼굴 영역(제1 특징 영역)을 결정하기 위한 과정은 높은 해상도가 요구되지 않기 때문에 상대적으로 낮은 해상도에서 수행될 수 있다. 즉, 원본 영상에 대한 제1 전처리를 적용하는 단계는 원본 영상을 원본 해상도보다 낮은 제1 해상도의 영상으로 변환하는 단계와, 제1 해상도로 변환된 영상에 대하여 제1 전처리를 적용하는 단계를 포함할 수 있다.Meanwhile, as described above, the process for determining the face region (the first feature region) of the companion animal may be performed at a relatively low resolution because high resolution is not required. That is, the step of applying the first pre-processing to the original image includes converting the original image to an image having a first resolution lower than the original resolution, and applying the first pre-processing to the image converted to the first resolution. can do.
한편, 반려 동물의 종을 식별하기 위한 제1 특징 영역이 설정되면, 제1 특징 영역에 대한 제1 후처리를 통해 제1 특징 값이 추출된다. 이는 획득된 영상으로부터 추출된 강아지의 비문 이미지가 이후 학습 또는 식별에 사용되는 데이터로서 적합한지 여부를 먼저 판단하기 위함이다. Meanwhile, when the first feature region for identifying the species of the companion animal is set, the first feature value is extracted through the first post-processing of the first feature region. This is to first determine whether the dog's inscription image extracted from the acquired image is suitable as data used for subsequent learning or identification.
즉, 제1 특징 값이 기준치보다 큰 경우 반려 동물을 식별하기 위한 객체 검출이 수행되고, 상기 제1 특징 값이 기준치보다 작은 경우 추가적인 처리가 수행되지 않고 다른 영상에 대한 처리가 수행된다. 제1 특징 값은 실시예마다 다양할 수 있으며, 예를 들어 처리되는 영상의 밝기 정보가 사용될 수 있다. That is, when the first feature value is greater than the reference value, object detection for identifying the companion animal is performed, and when the first feature value is less than the reference value, additional processing is not performed and other images are processed. The first characteristic value may vary according to each embodiment, for example, brightness information of a processed image may be used.
S830 단계에서, 반려 동물을 식별하기 위한 객체의 검출이 수행된다. 반려 동물을 식별하기 위한 객체로서, 눈, 코, 입, 귀 등 다양한 부위가 사용될 수 있으나, 대표적으로 비문을 사용하기 위한 코를 중심으로 설명하도록 한다. 본 단계는 앞서 수행한 반려 동물의 종을 고려하여 수행된다. 반려 동물이 강아지인 경우 강아지에 최적화된 식별을 위한 객체 검출이 수행될 수 있다. 최적화된 객체 검출은 동물의 종류별로 상이할 수 있다. 나아가, 촬영된 영상에 포함된 반려 동물이 여러 종류인 경우 각 동물마다 식별을 위한 객체 검출이 수행될 수 있다. In step S830, detection of an object for identifying a companion animal is performed. As an object for identifying a companion animal, various parts such as eyes, nose, mouth, and ears may be used, but the description will be mainly focused on the nose for using inscriptions. This step is performed in consideration of the species of companion animal performed previously. When the companion animal is a dog, object detection for identification optimized for the dog may be performed. The optimized object detection may be different for each animal type. Furthermore, when there are several types of companion animals included in the captured image, object detection for identification may be performed for each animal.
반려 동물의 식별을 위한 객체를 검출하는 단계는, 반려 동물의 종을 식별하기 위한 제1 특징 영역에 대한 제2 전처리를 적용하는 단계와, 제2 전처리된 제1 특징 영역에서 반려 동물의 종에 기초하여 상기 반려 동물의 식별을 위한 제2 특징 영역을 설정하는 단계와, 상기 제2 특징 영역에 대한 제2 후처리를 적용하는 단계를 포함할 수 있다. The step of detecting the object for identification of the companion animal includes the steps of applying a second pre-processing to the first characteristic region for identifying the species of the companion animal, and the second pre-processing of the species of the companion animal in the first characteristic region. The method may include setting a second characteristic area for identification of the companion animal based on the second characteristic area, and applying a second post-processing to the second characteristic area.
반려 동물의 식별을 위한 객체를 검출하기 위한 제2 전처리는 제1 전처리와 유사하게 영상의 사이즈 등을 조절하는 과정이다. 제1 특징 영역에 대한 제2 전처리는 상기 제1 전처리가 적용되는 제1 해상도 보다 높은 제2 해상도에서 수행될 수 있다. 이는 동물의 종류를 결정하는 과정과 달리 반려 동물의 식별을 위한 객체(예: 코)를 검출하고 식별용 데이터(비문 이미지)를 검사하는 과정은 상대적으로 높은 품질의 이미지가 요구되기 때문이다. 이후, 전처리된 영상에 대하여 반려 동물의 식별을 위한 객체로서 제2 특징 영역이 설정된다The second preprocessing for detecting an object for identification of a companion animal is a process of adjusting the size of an image, similar to the first preprocessing. The second pre-processing of the first feature region may be performed at a second resolution higher than the first resolution to which the first pre-processing is applied. This is because, unlike the process of determining the type of animal, the process of detecting an object (eg nose) for identification of a companion animal and examining the identification data (inscription image) requires a relatively high-quality image. Thereafter, a second feature area is set as an object for identification of a companion animal with respect to the preprocessed image.
제2 특징 영역을 설정하는 단계는 반려 동물의 종에 따라 제1 특징 영역(예: 얼굴 영역)에서 반려 동물의 식별을 위한 객체(예: 코)가 위치하는 확률에 기초하여 제2 특징 영역(예: 코 영역)을 설정하는 단계를 포함한다. 앞서 S820 단계에서 반려 동물의 종이 결정되면, 해당 종에 따라 최적화된 개별 특징 영역 검출기 및 파라미터가 선택되고, 선택된 검출기 및 파라미터를 사용하여 보다 낮은 연산 복잡도로 해당 반려 동물의 식별용 객체(예: 코 영역)를 검출할 수 있다. The step of setting the second characteristic region may include the second characteristic region (eg, nose) based on the probability that an object (eg, nose) for identification of the companion animal is located in the first characteristic region (eg, face region) according to the species of the companion animal. e.g. nose area). When the species of companion animal is determined in step S820, an individual feature region detector and parameter optimized according to the species are selected, and an object for identification of the companion animal (eg, nose) is selected with lower computational complexity using the selected detector and parameter. area) can be detected.
제2 특징 영역으로 검출된 반려 동물의 식별용 객체의 이미지가 이후 학습 또는 식별에 사용되기에 적합한지 여부를 검사하기 위한 후처리가 수행될 수 있다. 후처리에 대한 결과로서 해당 이미지의 적합도를 나타내는 제2 특징 값으로서 도출될 수 있다. 제2 특징 값이 기준치보다 큰 경우 상기 제2 특징 영역을 포함하는 이미지가 서버로 전송된다. Post-processing may be performed to check whether the image of the object for identification of the companion animal detected as the second feature region is suitable to be used for subsequent learning or identification. As a result of the post-processing, it may be derived as a second feature value indicating the fitness of the corresponding image. When the second feature value is greater than the reference value, the image including the second feature region is transmitted to the server.
도 9는 본 발명에 따른 반려 동물의 식별을 위한 객체를 검출하기 위한 장치(900)의 블록도이다. 본 발명에 따른 반려 동물의 식별을 위한 객체를 검출하기 위한 장치는, 반려 동물이 포함된 원본 영상을 생성하는 카메라(910)와, 원본 영상에 대한 영상 처리를 통해 제1 특징 영역 및 상기 반려 동물의 종(種)을 결정하고, 결정된 반려 동물의 종에 기초하여 제1 특징 영역 내에서 반려 동물의 식별을 위한 객체를 검출하는 프로세서(920)와, 반려 동물의 식별을 위한 객체가 유효한 경우 객체의 이미지를 서버로 전송하는 통신 모듈(930)을 포함한다. 9 is a block diagram of an
카메라(910)는 렌즈와 같은 광학 모듈과 입력된 광으로부터 영상 신호를 생성하는 CCD(charge-coupled device) 또는 CMOS(complementary metal-oxide semiconductor)를 포함할 수 있으며, 영상 촬영을 통해 영상 데이터를 생성하여 프로세서(920)로 제공할 수 있다. The
프로세서(920)는 장치(900)의 각 모듈을 제어하고 영상 처리를 위해 필요한 연산을 수행한다. 프로세서(920)는 그 기능에 따라 복수개의 마이크로프로세서(프로세싱 회로)로 구성될 수 있다. 프로세서(920)는 앞서 설명한 바와 같이 반려 동물(예: 강아지)의 식별을 위한 객체(예: 코)를 검출하고 해당 객체에 대한 이미지의 유효성 판단을 수행할 수 있다. The
통신 모듈(930)은 유/무선 네트워크를 통해 외부의 개체(entity)와 데이터를 송신 또는 수신할 수 있다. 특히, 통신 모듈(930)은 서버와의 통신을 통해 인공 지능 기반의 처리를 위한 데이터를 교환할 수 있다. The communication module 930 may transmit or receive data with an external entity through a wired/wireless network. In particular, the communication module 930 may exchange data for artificial intelligence-based processing through communication with a server.
추가적으로, 장치(900)는 영상 데이터 및 영상 처리를 위하여 필요한 정보를 저장하는 메모리(940)와 사용자에게 화면을 출력하는 디스플레이(950)를 포함하여 용도에 따라 다양한 모듈들을 포함할 수 있다. Additionally, the
본 발명에 따르면, 프로세서(920)는, 원본 영상에 대한 제1 전처리를 적용하고, 전처리된 영상에서 반려 동물의 종을 식별하기 위한 제1 특징 영역을 설정하고, 제1 특징 영역에 대한 제1 후처리를 통해 제1 특징 값을 추출할 수 있다. According to the present invention, the
본 발명에 따르면, 프로세서(920)는 학습용 신경망을 사용하여 상기 전처리된 영상을 복수개의 특징 영상으로 구분하고, 상기 복수의 특징 영상에 각각에 대하여 사전에 정의된 경계 상자를 적용하고, 상기 경계 상자 내에서 각 반려 동물의 종류 별 확률 값을 계산하고, 특정 동물 종에 대하여 상기 계산된 확률 값이 기준치 이상인 경우 상기 경계 상자가 포함되도록 상기 제1 특징 영역을 구성할 수 있다. According to the present invention, the
본 발명에 따르면, 상기 제1 특징 값이 기준치보다 큰 경우 상기 반려 동물을 식별하기 위한 객체 검출이 수행되고, 제1 특징 값이 기준치보다 작은 경우 추가적인 처리가 수행되지 않을 수 있다. According to the present invention, when the first characteristic value is greater than the reference value, object detection for identifying the companion animal is performed, and when the first characteristic value is less than the reference value, additional processing may not be performed.
본 발명에 따르면, 프로세서(920)는 원본 영상을 원본 해상도보다 낮은 제1 해상도의 영상으로 변환하고, 제1 해상도로 변환된 영상에 대하여 상기 제1 전처리를 적용할 수 있다. According to the present invention, the
본 발명에 따르면, 프로세서(920)는 반려 동물의 종을 식별하기 위한 제1 특징 영역에 대한 제2 전처리를 적용하고, 제2 전처리된 제1 특징 영역에서 반려 동물의 종에 기초하여 반려 동물의 식별을 위한 제2 특징 영역을 설정하고, 제2 특징 영역에 대한 제2 후처리를 적용하여 제2 특징 값을 추출할 수 있다. According to the present invention, the
본 발명에 따르면, 제1 특징 영역에 대한 제2 전처리는 상기 제1 전처리가 적용되는 제1 해상도 보다 높은 제2 해상도에서 수행될 수 있다. According to the present invention, the second pre-processing of the first feature region may be performed at a second resolution higher than the first resolution to which the first pre-processing is applied.
본 발명에 따르면, 프로세서(920)는 반려 동물의 종에 따라 제1 특징 영역에서 상기 반려 동물의 식별을 위한 객체가 위치하는 확률에 기초하여 제2 특징 영역을 설정할 수 있다. According to the present invention, the
본 발명에 따르면, 제2 특징 값이 기준치보다 큰 경우 제2 특징 영역을 포함하는 이미지가 서버로 전송되고, 상기 제2 특징 값이 기준치보다 작은 경우 제2 특징 영역을 포함하는 이미지는 버려질 수 있다. According to the present invention, if the second feature value is greater than the reference value, the image including the second feature area is transmitted to the server, and if the second feature value is smaller than the reference value, the image including the second feature area may be discarded. have.
본 실시예 및 본 명세서에 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형예와 구체적인 실시예는 모두 본 발명의 권리범위에 포함되는 것이 자명하다고 할 것이다.This embodiment and the drawings attached to this specification merely clearly show some of the technical ideas included in the present invention, and those skilled in the art can easily infer within the scope of the technical ideas included in the specification and drawings of the present invention. It will be apparent that all possible modifications and specific embodiments are included in the scope of the present invention.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the described embodiments, and not only the claims to be described later, but also all those with equivalent or equivalent modifications to the claims will be said to belong to the scope of the spirit of the present invention. .
Claims (18)
상기 반려 동물이 포함된 원본 영상을 획득하는 단계;
상기 원본 영상에 대한 영상 처리를 통해 상기 반려 동물의 얼굴 영역에 해당하는 제1 특징 영역과 상기 반려 동물의 종(種)을 결정하는 단계; 및
상기 결정된 반려 동물의 종에 기초하여 상기 제1 특징 영역 내에서 상기 반려 동물의 제2 특징 영역을 설정함으로써 상기 반려 동물의 식별을 위한 객체를 검출하는 단계를 포함하고,
상기 반려 동물의 식별을 위한 객체를 검출하는 단계는,
각 동물의 종에 특화된 서로 독립된 복수 개의 검출기 중에서 상기 결정된 반려 동물의 종에 대응하는 검출기를 선택하는 단계; 및
상기 선택된 검출기를 사용하여 상기 제1 특징 영역 내에서 상기 반려 동물의 제2 특징 영역을 설정하는 단계를 포함하고,
상기 검출기는 인공 신경망에 입력된 상기 영상에 대하여 여러 가지 크기의 물체를 검출하는 알고리즘인 방법.
A method for detecting an object for identification of a companion animal, the method comprising:
acquiring an original image including the companion animal;
determining a first feature region corresponding to the face region of the companion animal and a species of the companion animal through image processing on the original image; and
detecting an object for identification of the companion animal by setting a second characteristic region of the companion animal within the first characteristic region based on the determined species of the companion animal;
The step of detecting an object for identification of the companion animal includes:
selecting a detector corresponding to the determined companion animal species from among a plurality of independent detectors specialized for each animal species; and
setting a second characteristic region of the companion animal within the first characteristic region using the selected detector;
The detector is an algorithm for detecting objects of various sizes with respect to the image input to the artificial neural network.
상기 반려 동물의 종을 결정하는 단계는,
상기 원본 영상에 대한 제1 전처리를 적용하는 단계;
상기 전처리된 영상에서 상기 반려 동물의 종을 결정하고 상기 제1 특징 영역을 설정하는 단계;
상기 제1 특징 영역에 대한 제1 후처리를 통해 제1 특징 값을 추출하는 단계를 포함하는 방법.
According to claim 1,
The step of determining the species of the companion animal,
applying a first pre-processing to the original image;
determining the species of the companion animal from the pre-processed image and setting the first feature region;
and extracting a first feature value through a first post-processing of the first feature region.
상기 제1 특징 영역을 설정하는 단계는,
학습용 신경망을 사용하여 상기 전처리된 영상으로부터 복수개의 특징 영상을 생성하는 단계;
상기 복수개의 특징 영상에 각각에 대하여 사전에 정의된 경계 상자를 적용하는 단계;
상기 경계 상자 내에서 각 반려 동물의 종류 별 확률 값을 계산하는 단계; 및
특정 동물 종에 대하여 상기 계산된 확률 값이 기준치 이상인 경우 상기 경계 상자가 포함되도록 상기 제1 특징 영역을 구성하는 단계를 포함하는 방법.
3. The method of claim 2,
The step of setting the first characteristic region comprises:
generating a plurality of feature images from the pre-processed images using a neural network for learning;
applying a predefined bounding box to each of the plurality of feature images;
calculating a probability value for each type of companion animal within the bounding box; and
and configuring the first feature region to include the bounding box when the calculated probability value for a specific animal species is equal to or greater than a reference value.
상기 제1 특징 값이 기준치보다 큰 경우 상기 반려 동물을 식별하기 위한 객체 검출이 수행되고,
상기 제1 특징 값이 기준치보다 작은 경우 추가적인 처리가 생략되는 방법.
3. The method of claim 2,
When the first feature value is greater than a reference value, object detection for identifying the companion animal is performed,
A method in which additional processing is omitted when the first feature value is less than a reference value.
상기 원본 영상에 대한 제1 전처리를 적용하는 단계는,
상기 원본 영상을 원본 해상도보다 낮은 제1 해상도의 영상으로 변환하는 단계; 및
상기 제1 해상도로 변환된 영상에 대하여 상기 제1 전처리를 적용하는 단계를 포함하는 방법.
3. The method of claim 2,
The step of applying the first pre-processing to the original image,
converting the original image into an image having a first resolution lower than the original resolution; and
and applying the first preprocessing to the image converted to the first resolution.
상기 반려 동물의 식별을 위한 객체를 검출하는 단계는,
상기 반려 동물의 종을 식별하기 위한 제1 특징 영역에 대한 제2 전처리를 적용하는 단계;
상기 제2 전처리된 제1 특징 영역에서 상기 반려 동물의 종에 기초하여 상기 반려 동물의 식별을 위한 제2 특징 영역을 설정하는 단계; 및
상기 제2 특징 영역에 대한 제2 후처리를 적용하여 제2 특징 값을 추출하는 단계를 포함하는 방법.
According to claim 1,
The step of detecting an object for identification of the companion animal includes:
applying a second pre-processing to the first feature region for identifying the species of the companion animal;
setting a second characteristic region for identification of the companion animal based on the species of the companion animal in the second pre-processed first characteristic region; and
and extracting a second feature value by applying a second post-processing to the second feature region.
상기 제1 특징 영역에 대한 제2 전처리는 상기 제1 특징 영역의 설정을 위한 제1 전처리가 적용되는 제1 해상도 보다 높은 제2 해상도에서 수행되는 방법.
7. The method of claim 6,
The second preprocessing for the first feature region is performed at a second resolution higher than the first resolution to which the first preprocessing for setting the first feature region is applied.
상기 제2 특징 영역을 설정하는 단계는 상기 반려 동물의 종에 따라 상기 제1 특징 영역에서 상기 반려 동물의 식별을 위한 객체가 위치하는 확률에 기초하여 상기 제2 특징 영역을 설정하는 단계를 포함하는 방법.
7. The method of claim 6,
The setting of the second characteristic region includes setting the second characteristic region based on a probability that the object for identification of the companion animal is located in the first characteristic region according to the species of the companion animal. Way.
상기 제2 특징 값이 기준치보다 큰 경우 상기 제2 특징 영역을 포함하는 이미지가 서버로 전송되는 방법.
7. The method of claim 6,
When the second feature value is greater than a reference value, an image including the second feature region is transmitted to a server.
상기 반려 동물이 포함된 원본 영상을 생성하는 카메라;
상기 원본 영상에 대한 영상 처리를 통해 상기 반려 동물의 얼굴 영역에 해당하는 제1 특징 영역과 상기 반려 동물의 종(種)을 결정하고, 상기 결정된 반려 동물의 종에 기초하여 제1 특징 영역 내에서 상기 반려 동물의 제2 특징 영역을 설정함으로써 상기 반려 동물의 식별을 위한 객체를 검출하는 프로세서; 및
상기 반려 동물의 식별을 위한 객체가 유효한 경우 상기 객체의 이미지를 서버로 전송하는 통신 모듈을 포함하고,
상기 프로세서는,
각 동물의 종에 특화된 서로 독립된 복수 개의 검출기 중에서 상기 결정된 반려 동물의 종에 대응하는 검출기를 결정하고,
상기 결정된 검출기를 사용하여 상기 제1 특징 영역 내에서 상기 반려 동물의 제2 특징 영역을 설정하며,
상기 검출기는 인공 신경망에 입력된 상기 영상에 대하여 여러 가지 크기의 물체를 검출하는 알고리즘인 장치.
A device for detecting an object for identification of a companion animal, comprising:
a camera that generates an original image including the companion animal;
A first feature region corresponding to the face region of the companion animal and a species of the companion animal are determined through image processing of the original image, and based on the determined species of the companion animal, within the first feature region a processor configured to detect an object for identification of the companion animal by setting a second characteristic area of the companion animal; and
and a communication module for transmitting an image of the object to a server when the object for identification of the companion animal is valid;
The processor is
determining a detector corresponding to the determined companion animal species from among a plurality of mutually independent detectors specialized for each animal species;
setting a second characteristic region of the companion animal within the first characteristic region using the determined detector;
The detector is an algorithm for detecting objects of various sizes with respect to the image input to the artificial neural network.
상기 프로세서는,
상기 원본 영상에 대한 제1 전처리를 적용하고,
상기 전처리된 영상에서 상기 반려 동물의 종을 결정하여 상기 제1 특징 영역을 설정하고,
상기 제1 특징 영역에 대한 제1 후처리를 통해 제1 특징 값을 추출하는 장치.
11. The method of claim 10,
The processor is
applying a first preprocessing to the original image,
determining the species of the companion animal from the pre-processed image to set the first feature region,
An apparatus for extracting a first feature value through a first post-processing of the first feature region.
상기 프로세서는,
학습용 신경망을 사용하여 상기 전처리된 영상으로부터 복수개의 특징 영상을 생성하고,
상기 복수개의 특징 영상에 각각에 대하여 사전에 정의된 경계 상자를 적용하고,
상기 경계 상자 내에서 각 반려 동물의 종류 별 확률 값을 계산하고,
특정 동물 종에 대하여 상기 계산된 확률 값이 기준치 이상인 경우 상기 경계 상자가 포함되도록 상기 제1 특징 영역을 구성하는 장치.
12. The method of claim 11,
The processor is
A plurality of feature images are generated from the pre-processed image using a neural network for learning,
Applying a predefined bounding box to each of the plurality of feature images,
Calculate the probability value for each type of companion animal within the bounding box,
An apparatus for configuring the first feature region to include the bounding box when the calculated probability value for a specific animal species is equal to or greater than a reference value.
상기 제1 특징 값이 기준치보다 큰 경우 상기 반려 동물을 식별하기 위한 객체 검출이 수행되고,
상기 제1 특징 값이 기준치보다 작은 경우 추가적인 처리가 생략되는 장치.
12. The method of claim 11,
When the first feature value is greater than a reference value, object detection for identifying the companion animal is performed,
An apparatus in which additional processing is omitted when the first characteristic value is less than a reference value.
상기 프로세서는,
상기 원본 영상을 원본 해상도보다 낮은 제1 해상도의 영상으로 변환하고,
상기 제1 해상도로 변환된 영상에 대하여 상기 제1 전처리를 적용하는 장치.
12. The method of claim 11,
The processor is
Converting the original image to an image of a first resolution lower than the original resolution,
An apparatus for applying the first preprocessing to the image converted to the first resolution.
상기 프로세서는,
상기 반려 동물의 종을 식별하기 위한 제1 특징 영역에 대한 제2 전처리를 적용하고,
상기 제2 전처리된 제1 특징 영역에서 상기 반려 동물의 종에 기초하여 상기 반려 동물의 식별을 위한 제2 특징 영역을 설정하고,
상기 제2 특징 영역에 대한 제2 후처리를 적용하여 제2 특징 값을 추출하는 장치.
11. The method of claim 10,
The processor is
applying a second pretreatment to the first feature region for identifying the species of the companion animal;
setting a second characteristic region for identification of the companion animal based on the species of the companion animal in the second pre-processed first characteristic region;
An apparatus for extracting a second feature value by applying a second post-processing to the second feature region.
상기 제1 특징 영역에 대한 제2 전처리는 상기 제1 특징 영역의 설정을 위한 제1 전처리가 적용되는 제1 해상도 보다 높은 제2 해상도에서 수행되는 장치.
16. The method of claim 15,
The second preprocessing for the first feature region is performed at a second resolution higher than the first resolution to which the first preprocessing for setting the first feature region is applied.
상기 프로세서는 상기 반려 동물의 종에 따라 상기 제1 특징 영역에서 상기 반려 동물의 식별을 위한 객체가 위치하는 확률에 기초하여 상기 제2 특징 영역을 설정하는 장치.
16. The method of claim 15,
The processor is configured to set the second characteristic region based on a probability that the object for identification of the companion animal is located in the first characteristic region according to the species of the companion animal.
상기 제2 특징 값이 기준치보다 큰 경우 상기 제2 특징 영역을 포함하는 이미지가 상기 서버로 전송되는 장치.16. The method of claim 15,
When the second feature value is greater than a reference value, the image including the second feature area is transmitted to the server.
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210083753A KR102444928B1 (en) | 2021-06-28 | 2021-06-28 | Method for detecting object for identifying animal and apparatus thereof |
| JP2023569731A JP2024518492A (en) | 2021-06-28 | 2022-06-27 | Method and electronic device for photographing objects for pet identification - Patents.com |
| CA3218184A CA3218184A1 (en) | 2021-06-28 | 2022-06-27 | Method for photographing object for identifying companion animal, and electronic device |
| EP22833529.5A EP4322120A1 (en) | 2021-06-28 | 2022-06-27 | Method for photographing object for identifying companion animal, and electronic device |
| AU2022300548A AU2022300548A1 (en) | 2021-06-28 | 2022-06-27 | Method for photographing object for identifying companion animal, and electronic device |
| PCT/KR2022/009095 WO2023277473A1 (en) | 2021-06-28 | 2022-06-27 | Method for photographing object for identifying companion animal, and electronic device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210083753A KR102444928B1 (en) | 2021-06-28 | 2021-06-28 | Method for detecting object for identifying animal and apparatus thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102444928B1 true KR102444928B1 (en) | 2022-09-21 |
Family
ID=83452757
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210083753A KR102444928B1 (en) | 2021-06-28 | 2021-06-28 | Method for detecting object for identifying animal and apparatus thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102444928B1 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160119932A (en) * | 2015-04-06 | 2016-10-17 | 한국과학기술원 | Method and apparatus for face recognition based quality assessment |
| KR20200044209A (en) * | 2018-10-11 | 2020-04-29 | 주식회사 핏펫 | Computer program and theminal for providing individual animal information based on the facial and nose pattern imanges of the animal |
| JP2020074174A (en) * | 2015-02-06 | 2020-05-14 | ヴェリディウム アイピー リミテッド | System and method for performing fingerprint-based user authentication using images captured with mobile device |
| KR20200143193A (en) * | 2019-06-13 | 2020-12-23 | 네이버 주식회사 | Apparatus and method for object detection |
| KR20210006627A (en) * | 2019-07-09 | 2021-01-19 | 주식회사 케이티 | Method for detecting object and system therefor |
| KR20210074017A (en) * | 2019-12-11 | 2021-06-21 | 대한민국(농촌진흥청장) | System for authenticating the biological information of dog |
-
2021
- 2021-06-28 KR KR1020210083753A patent/KR102444928B1/en active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020074174A (en) * | 2015-02-06 | 2020-05-14 | ヴェリディウム アイピー リミテッド | System and method for performing fingerprint-based user authentication using images captured with mobile device |
| KR20160119932A (en) * | 2015-04-06 | 2016-10-17 | 한국과학기술원 | Method and apparatus for face recognition based quality assessment |
| KR20200044209A (en) * | 2018-10-11 | 2020-04-29 | 주식회사 핏펫 | Computer program and theminal for providing individual animal information based on the facial and nose pattern imanges of the animal |
| KR20200143193A (en) * | 2019-06-13 | 2020-12-23 | 네이버 주식회사 | Apparatus and method for object detection |
| KR20210006627A (en) * | 2019-07-09 | 2021-01-19 | 주식회사 케이티 | Method for detecting object and system therefor |
| KR20210074017A (en) * | 2019-12-11 | 2021-06-21 | 대한민국(농촌진흥청장) | System for authenticating the biological information of dog |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10896323B2 (en) | Method and device for image processing, computer readable storage medium, and electronic device | |
| US10719743B2 (en) | License plate reader using optical character recognition on plural detected regions | |
| WO2019233266A1 (en) | Image processing method, computer readable storage medium and electronic device | |
| CN101416219B (en) | Foreground/background segmentation in digital images | |
| JP4642128B2 (en) | Image processing method, image processing apparatus and system | |
| KR100608595B1 (en) | Face identifying method and apparatus | |
| CN113837079B (en) | Automatic focusing method, device, computer equipment and storage medium of microscope | |
| JP2011511977A (en) | Detection of facial expressions in digital images | |
| KR20180020376A (en) | Apparatus and method for action pattern recognition, and method for generating of action pattern classifier | |
| JP2010271861A (en) | Object identification device and object identification method | |
| CN110365897B (en) | Image correction method and device, electronic equipment and computer readable storage medium | |
| JP2017058833A (en) | Object identification device, object identification method, and program | |
| JP2010141847A (en) | Image processor and method of processing image | |
| JP2012103859A (en) | Image processing device, image processing method, and image processing program | |
| KR102444928B1 (en) | Method for detecting object for identifying animal and apparatus thereof | |
| KR102444929B1 (en) | Method for processing image of object for identifying animal and apparatus thereof | |
| KR102453695B1 (en) | Method for capturing object for identifying animal and apparatus thereof | |
| KR102452192B1 (en) | Method for filtering image of object for identifying animal and apparatus thereof | |
| US20220036114A1 (en) | Edge detection image capture and recognition system | |
| JP2002216131A (en) | Image collating device, image collating method and storage medium | |
| KR20230099369A (en) | Occlusion detection and object coordinate correction for estimatin the position of an object | |
| JP4789526B2 (en) | Image processing apparatus and image processing method | |
| US9049382B2 (en) | Image processing apparatus and image processing method | |
| US20240221416A1 (en) | Method for photographing object for identifying companion animal, and electronic device | |
| JP2024518492A (en) | Method and electronic device for photographing objects for pet identification - Patents.com |