KR102330858B1 - Method, apparatus, and system for providing information on analysis of pet stool status using stool sheet stool images - Google Patents
Method, apparatus, and system for providing information on analysis of pet stool status using stool sheet stool images Download PDFInfo
- Publication number
- KR102330858B1 KR102330858B1 KR1020210101843A KR20210101843A KR102330858B1 KR 102330858 B1 KR102330858 B1 KR 102330858B1 KR 1020210101843 A KR1020210101843 A KR 1020210101843A KR 20210101843 A KR20210101843 A KR 20210101843A KR 102330858 B1 KR102330858 B1 KR 102330858B1
- Authority
- KR
- South Korea
- Prior art keywords
- stool
- sheet
- training
- image
- color
- Prior art date
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 71
- 241001465754 Metazoa Species 0.000 claims abstract description 116
- 238000012549 training Methods 0.000 claims description 93
- 238000013528 artificial neural network Methods 0.000 claims description 48
- 238000012545 processing Methods 0.000 claims description 32
- 238000007781 pre-processing Methods 0.000 claims description 17
- 238000013473 artificial intelligence Methods 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 14
- 239000003086 colorant Substances 0.000 claims description 13
- 230000036541 health Effects 0.000 description 24
- 238000005516 engineering process Methods 0.000 description 21
- 238000010801 machine learning Methods 0.000 description 19
- 230000015654 memory Effects 0.000 description 19
- 230000008569 process Effects 0.000 description 16
- 230000013872 defecation Effects 0.000 description 15
- 238000004422 calculation algorithm Methods 0.000 description 14
- 238000003745 diagnosis Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000013527 convolutional neural network Methods 0.000 description 10
- 230000037406 food intake Effects 0.000 description 10
- 235000012631 food intake Nutrition 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 8
- 210000003608 fece Anatomy 0.000 description 7
- 238000003062 neural network model Methods 0.000 description 7
- 235000019621 digestibility Nutrition 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 206010010774 Constipation Diseases 0.000 description 4
- 206010012735 Diarrhoea Diseases 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 235000013305 food Nutrition 0.000 description 4
- 239000007789 gas Substances 0.000 description 4
- 206010020751 Hypersensitivity Diseases 0.000 description 3
- 208000026935 allergic disease Diseases 0.000 description 3
- 230000007815 allergy Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 235000015872 dietary supplement Nutrition 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 235000013376 functional food Nutrition 0.000 description 3
- 230000003862 health status Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 235000011888 snacks Nutrition 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000019771 cognition Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000001079 digestive effect Effects 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000018522 Gastrointestinal disease Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 208000010643 digestive system disease Diseases 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 208000018685 gastrointestinal system disease Diseases 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
- A61B10/0038—Devices for taking faeces samples; Faecal examination devices
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4866—Evaluating metabolism
-
- G06T5/007—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Nutrition Science (AREA)
- Obesity (AREA)
- Image Analysis (AREA)
Abstract
Description
아래 실시예들은 배변 시트 대변 이미지를 활용한 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 방법, 장치 및 시스템에 관한 것이다.The following embodiments relate to a method, apparatus, and system for providing information on analysis of the status of companion animal stool using a stool sheet stool image using a stool sheet stool image.
실시예들과 관련된 배경기술로, 대한민국 공개특허공보 KR 10-2020-0141776 A는 대변 이미지를 이용한 영유아 건강 관리 방법 및 장치를 개시한다. 구체적으로, 선행문헌은 대변 이미지와 더불어 바이탈 사인 데이터 및 병원 기록 데이터 중 적어도 하나 이상의 데이터를 기 설정된 시간 동안 시계열적으로 수집하는 단계와, 수집한 대변 이미지 각각의 분석을 통해 대변 상태 정보를 도출하는 단계와, 대변 상태 정보와 획득한 데이터를 기반으로 정상 상태, 질환 상태 및 건강 상태별 판단용 대변 상태 정보를 생성하여 사용자 데이터베이스에 저장하는 단계와, 이후, 영유아의 대변 이미지를 획득하는 단계와, 이후 획득한 대변 이미지에 대한 분석을 통해 대변 상태 정보를 생성하는 단계와, 대변 상태 정보와 사용자 데이터베이스에 저장된 정상 상태, 질환 상태 및 건강 상태별 판단용 대변 상태 변화 정보간의 비교를 통해 대변 상태 정보와 기 설정된 임계 범위 내에서 일치한 판단용 대변 상태 정보가 사용자 데이터베이스에 존재하는지를 판단하는 단계와, 판단 결과, 일치한 판단용 대변 상태 정보가 존재할 경우 영유아의 상태 판단 정보를 생성하는 단계와, 생성한 상태 판단 정보를 기 등록된 사용자측 단말에 전송하는 단계를 포함하는 대변 이미지 기반의 영유아 건강 관리 방법을 개시한다.As a background art related to embodiments, Korea Patent Publication KR 10-2020-0141776 A discloses a method and apparatus for managing infant health using a stool image. Specifically, the prior literature includes the steps of collecting at least one or more of vital sign data and hospital record data in addition to stool images in a time-series manner for a preset time, and deriving stool status information through analysis of each collected stool image. Steps, Based on the stool state information and the acquired data, generating and storing stool state information for determination by normal state, disease state and health state in the user database, After, acquiring a stool image of infants; Then, the step of generating stool status information through analysis of the acquired stool image, and comparing the stool condition information with the normal condition stored in the user database Determining whether or not matching stool status information for judgment exists in the user database within a preset threshold range; If the judgment result, If there is matching stool status information for judgment, generating information on the status of infants and toddlers; Disclosed is a feces image-based health care method for infants and toddlers, which includes transmitting state determination information to a pre-registered user-side terminal.
이를 통해, 선행문헌은 영유아의 대변 이미지와 더불어 병원 기록 데이터, 섭식 기록 데이터 및 바이탈 사인 데이터 중 적어도 하나 이상을 이용하여 영유아의 상태별 판단용 대변 상태 정보를 생성한 후 이를 기반으로 대변 이미지를 이용하여 영유아의 상태를 판단함으로써, 영유아의 건강 관리에 도움을 줄 수 있다.Through this, the prior literature uses at least one or more of hospital record data, feeding record data, and vital sign data along with the stool image of infants and toddlers to generate stool status information for each condition of infants and toddlers, and then use the stool image based on this. By judging the condition of infants and young children, it can help manage the health of infants and young children.
또한, 대한민국 공개특허공보 KR 10-2020-0119135 A는 신경망 모듈을 이용한 대변상태 분석방법 및 이를 위한 시스템을 개시한다. 구체적으로, 선행문헌은 환자의 신체에 장착되는 자동 배설물 처리장치의 장착구에 설치된 온도센서, 습도센서, 자이로센서, 가스센서, 및 이미지센서로부터 각각, 미리 결정된 시구간 동안의 온도정보, 습도정보, 상기 환자의 자세정보, 가스정보, 및 이미지정보를 수집하여 상기 수집된 정보들에 대한 전처리 단계를 수행하도록 되어 있는, 처리부 및 상기 전처리 단계가 수행되어 상기 처리부로부터 출력된 입력정보인 온도값, 습도값, 자세값, 가스농도값, 가스발생횟수, 및 이미지값을 입력받아 상기 환자의 대변상태값을 출력하는 신경망 모듈을 포함하는, 서버를 개시한다.In addition, Korean Patent Laid-Open Publication No. KR 10-2020-0119135 A discloses a stool state analysis method using a neural network module and a system therefor. Specifically, the prior literature discloses temperature information, humidity information for a predetermined time period from a temperature sensor, a humidity sensor, a gyro sensor, a gas sensor, and an image sensor installed in the mounting port of an automatic excrement treatment device mounted on the patient's body, respectively. , a processing unit configured to collect the patient's posture information, gas information, and image information to perform a pre-processing step on the collected information, and a temperature value that is input information output from the processing unit after the pre-processing step is performed; Disclosed is a server comprising a neural network module that receives a humidity value, a posture value, a gas concentration value, the number of times of gas generation, and an image value and outputs a stool state value of the patient.
이를 통해, 선행문헌은 신경망 모듈을 이용하여 환자의 대변상태를 분석하는 방법 및 이를 위한 서버를 제공할 수 있다.Through this, the prior literature may provide a method for analyzing the stool state of a patient using a neural network module and a server therefor.
그러나 선행문헌들은 식별자의 배변 시트 대변 이미지를 획득하고, 배변 시트 대변 이미지로부터 대변 객체 및 색상 코드를 검출하며, 색상 코드에 기초하여, 대변 객체를 전처리하고, 전처리된 대변 객체를 처리하여 식별자의 대변 상태 판단 결과를 생성하는 기술적 특징을 개시하지 않는다.However, prior literatures obtain a stool sheet stool image of an identifier, detect a stool object and a color code from the stool sheet stool image, and based on the color code, preprocess the stool object, and process the preprocessed stool object to determine the stool of the identifier. It does not disclose technical features for generating state judgment results.
실시예들은 배변 시트 대변 이미지를 이용하여 식별자의 대변 상태 판단 결과를 생성하고자 한다.Embodiments intend to generate a stool state determination result of the identifier using the stool sheet stool image.
실시예들은 배변 시트 대변 이미지에 포함된 색상 코드를 이용하여 대변 객체를 전처리 하고자 한다.Embodiments intend to pre-process the stool object using the color code included in the stool sheet stool image.
실시예들은 뉴럴 네트워크를 이용하여 대변 객체들의 상태를 학습하고자 한다.Embodiments attempt to learn the state of stool objects using a neural network.
본 발명의 실시예에 따른 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 방법은, 식별자의 배변 시트 대변 이미지를 획득하는 단계; 미리 학습된 인공지능 모델을 이용하여, 상기 배변 시트 대변 이미지로부터 대변 객체 및 색상 코드를 검출하는 단계; 상기 색상 코드에 기초하여 수행되는 색상 보정을 통해, 상기 대변 객체를 전처리하는 단계; 및 상기 전처리된 대변 객체를 처리하여 상기 식별자의 대변 상태 판단 결과를 생성하는 단계를 포함할 수 있다.According to an embodiment of the present invention, there is provided a method for providing information on a companion animal stool status analysis using a stool sheet stool image, the method comprising: obtaining a stool sheet stool image of an identifier; detecting a stool object and a color code from the stool sheet stool image by using a pre-trained artificial intelligence model; preprocessing the stool object through color correction performed based on the color code; and processing the pre-processed stool object to generate a stool status determination result of the identifier.
일 실시예로서, 상기 색상 코드를 검출하는 단계는, 트레이닝 배변 시트 대변 이미지들을 획득하는 단계; 상기 트레이닝 배변 시트 대변 이미지들로부터 트레이닝 색상 코드들을 추출하는 단계; 상기 트레이닝 색상 코드들에 대해서 미리 정의된 색 정보를 나타내는 제1 레이블들을 획득하는 단계; 상기 트레이닝 색상 코드들을 미리 학습된 제1 뉴럴 네트워크로 적용하여, 상기 트레이닝 색상 코드들에 대응하는 트레이닝 출력들을 생성하는 단계; 및 상기 트레이닝 출력들 및 상기 제1 레이블들에 기초하여, 상기 제1 뉴럴 네트워크를 학습시키는 단계를 포함할 수 있다.In one embodiment, the detecting of the color code may include: acquiring training defecation sheet stool images; extracting training color codes from the training stool sheet stool images; obtaining first labels indicating predefined color information for the training color codes; applying the training color codes to a pre-learned first neural network to generate training outputs corresponding to the training color codes; and training the first neural network based on the training outputs and the first labels.
일 실시예로서, 상기 대변 객체를 전처리하는 단계는 상기 색상 코드의 굴곡을 평탄화하는 단계; 상기 색상 코드의 색상들을 검출하는 단계; 상기 색상 코드의 색상들에 대해서 미리 정의된 색 정보와 상기 검출된 색상들을 비교하여 색상 보정값을 생성하는 단계; 및 상기 색상 보정값을 이용하여 상기 대변 객체의 색상을 보정하는 단계를 포함할 수 있다.In one embodiment, the pre-processing of the stool object may include flattening the curvature of the color code; detecting colors of the color code; generating a color correction value by comparing the detected colors with predefined color information for the colors of the color code; and correcting the color of the stool object by using the color correction value.
일 실시예로서, 상기 대변 객체를 전처리하는 단계는 상기 색상 코드의 미리 정의된 크기 정보를 이용하여 상기 대변 객체의 크기를 산출하는 단계를 포함할 수 있다.As an embodiment, the pre-processing of the stool object may include calculating the size of the stool object using predefined size information of the color code.
일 실시예로서, 상기 대변 상태 판단 결과를 생성하는 단계는 상기 전처리된 대변 객체를 이용하여 대변의 상태 - 상기 대변의 상태는 설사 변비, 정상, 매우됨, 됨, 약간됨, 보통, 약간 묽음, 묽음, 및 매우 묽음 중 적어도 하나의 상태를 포함함 - 를 분류하는 단계; 및 상기 분류된 대변 상태에 따라서 상기 식별자의 건강 상태 정보를 생성하는 단계를 포함할 수 있다.In one embodiment, the step of generating the result of the determination of the stool condition includes the condition of stool using the pre-processed stool object - the condition of the stool is diarrhea constipation, normal, severe, moderate, mild, normal, slightly dilute, comprising at least one of thin, and very thin; and generating health state information of the identifier according to the classified stool state.
일 실시예로서, 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 방법은 상기 식별자의 개인 정보 - 상기 개인 정보는 상기 식별자에 대응하는 반려 동물의 나이, 성별, 품종, 질환, 체중, 산책 횟수 및 알레르기 정보 중 적어도 하나를 포함함 - 및 섭취 음식 정보 - 상기 섭취 음식 정보는 사료 정보, 건강기능식품 정보, 간식 정보, 약 정보, 영양제 정보 및 대체식품 정보 중 적어도 하나를 포함함 - 를 수신하는 단계; 트레이닝 배변 시트 대변 이미지들을 획득하는 단계; 상기 트레이닝 배변 시트 대변 이미지들로부터 트레이닝 대변 객체들을 추출하는 단계; 상기 식별자의 개인 정보 및 섭취 음식 정보에 따른 상기 트레이닝 대변 객체들의 상태를 나타내는 제1 레이블들을 획득하는 단계; 상기 트레이닝 대변 객체들을 미리 학습된 제1 뉴럴 네트워크로 적용하여, 상기 트레이닝 대변 객체들에 대응하는 트레이닝 출력들을 생성하는 단계; 및 상기 트레이닝 출력들 및 상기 제1 레이블들에 기초하여, 상기 제1 뉴럴 네트워크를 학습시키는 단계를 더 포함할 수 있다.As an embodiment, in the method for providing information on analyzing the status of companion animal stool using a stool image of a stool sheet, the personal information of the identifier - the personal information is the age, sex, breed, disease, weight, and walk of the companion animal corresponding to the identifier Receives - including at least one of frequency and allergy information - and food intake information - the intake food information includes at least one of feed information, health functional food information, snack information, drug information, nutritional supplement information, and alternative food information to do; acquiring training stool sheet stool images; extracting training stool objects from the training stool sheet stool images; obtaining first labels indicating the status of the training stool objects according to the personal information of the identifier and the food intake information; applying the training speech objects to a first pre-trained neural network to generate training outputs corresponding to the training speech objects; and training the first neural network based on the training outputs and the first labels.
일 실시예로서, 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 방법은 상기 전처리된 대변 객체를 전문가 단말로 전송하는 단계; 및 상기 전문가 단말로부터 상기 전처리된 대변 객체에 대한 피드백 정보를 수신하는 단계를 더 포함할 수 있다.In one embodiment, the method for providing information on the status of companion animal stool analysis using a stool sheet stool image includes: transmitting the pre-processed stool object to an expert terminal; and receiving feedback information on the preprocessed stool object from the expert terminal.
일 실시예로서, 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 방법은 상기 피드백 정보에 따라서 병원 내원이 필요한 경우 병원 예약 요청을 전송하는 단계; 및 상기 병원 예약 요청에 기초하여 병원 예약을 수행하는 단계를 더 포함할 수 있다.As an embodiment, a method for providing information on analyzing the status of a companion animal stool using a stool image of a stool sheet includes: transmitting a hospital reservation request when a hospital visit is required according to the feedback information; and performing a hospital reservation based on the hospital reservation request.
일 실시예로서, 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 방법은 상기 분류된 대변의 상태 각각에 가중치를 부여하는 단계; 상기 식별자에 대하여 미리 설정된 기간 동안의 제1 배변 시트 대변 이미지들 획득하는 단계; 상기 제1 배변 시트 대변 이미지들 각각으로부터 대변의 상태들을 추출하는 단계; 상기 추출된 대변의 상대들 각각에 대하여 상기 부여된 가중치를 곱하고 합산하여 소화력 지수를 산출하는 단계; 및 상기 소화력 지수에 기초하여 상기 식별자의 소화력 순위를 산출하는 단계를 더 포함할 수 있다.As an embodiment, a method for providing information on a companion animal stool condition using a stool sheet stool image may include: assigning weights to each of the classified stool states; obtaining first defecation sheet stool images for a preset period with respect to the identifier; extracting stool states from each of the first defecation sheet stool images; calculating a digestibility index by multiplying and summing the weights given to each of the opponents of the extracted stool; and calculating a digestibility ranking of the identifier based on the digestibility index.
일 실시예로서, 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 방법은 상기 생성된 대변 상태 판단 결과에 기초하여 상기 식별자의 제1 신체나이 지수를 산출하는 단계; 상기 개인 정보를 이용하여 상기 식별자의 제2 신체나이 지수를 산출하는 단계; 상기 섭취 음식 정보를 이용하여 상기 식별자의 제3 신체나이 지수를 산출하는 단계; 상기 제1 내지 제3 신체나이 지수 각각에 가중치를 부여하는 단계; 상기 제1 내지 제3 신체나이 지수와 상기 제1 내지 제3 신체나이 지수 각각에 부여된 가중치를 곱한 값의 평균을 산출하는 단계; 및 산출된 평균을 최종 신체나이 지수로 생성하는 단계를 더 포함할 수 있다.As an embodiment, the method for providing information on analyzing the stool state of a companion animal using a stool image of a stool sheet includes: calculating a first body age index of the identifier based on the generated stool condition determination result; calculating a second body age index of the identifier by using the personal information; calculating a third body age index of the identifier by using the food intake information; assigning weights to each of the first to third body age indices; calculating an average of values obtained by multiplying the first to third body age indices by weights assigned to each of the first to third body age indices; and generating the calculated average as a final body age index.
본 발명의 실시예에 따른 컴퓨터 프로그램은, 상기한 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 방법을 컴퓨터에서 실행하기 위하여 컴퓨터 판독 가능한 기록 매체에 저장될 수 있다.The computer program according to an embodiment of the present invention may be stored in a computer-readable recording medium in order to execute the method of providing information on a companion animal stool condition analysis using the stool image of the stool sheet.
본 발명의 실시예에 따른 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치는, 식별자에 대응하는 배변 시트 대변 이미지들을 획득하여 저장하는 메모리; 및 상기 배변 시트 대변 이미지로부터 대변 객체 및 색상 코드를 검출하고, 상기 색상 코드에 기초하여, 상기 대변 객체를 전처리하며, 상기 전처리된 대변 객체를 처리하여 상기 식별자의 대변 상태 판단 결과를 생성하는 프로세서를 포함할 수 있다.According to an embodiment of the present invention, there is provided an apparatus for providing information on a companion animal stool status analysis using a stool sheet stool image, comprising: a memory for acquiring and storing stool sheet stool images corresponding to an identifier; and a processor for detecting a stool object and a color code from the stool sheet stool image, pre-processing the stool object based on the color code, and processing the pre-processed stool object to generate a stool state determination result of the identifier. may include
실시예들은 색상 코드를 포함하는 배변 시트 대변 이미지를 학습 모델 기반으로 분석하여 배변 시트 촬영 환경과 카메라 사양에 따라 변화하는 배변 시트 대변 이미지를 표준화하고, 대변 이미지의 분석 왜곡을 방지할 수 있다. 이로 인해서, 배변 시트 대변 이미지를 분석하여 반려 동물의 대변으로부터 색깔과 모양에 따른 보다 정확하고 신속하게 건강 상태 정보를 제공할 수 있다.Embodiments may standardize the stool sheet stool image that changes according to the stool sheet shooting environment and camera specifications by analyzing the stool sheet stool image including the color code based on the learning model, and prevent the analysis distortion of the stool image. For this reason, it is possible to more accurately and quickly provide health status information according to color and shape from the stool of a companion animal by analyzing the stool image of the stool sheet.
도 1은 일실시예에 따른 배변 시트 대변 이미지를 활용한 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 뉴럴 네트워크의 학습을 설명하기 위한 도면이다.
도 3은 일실시예에 따른 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치를 설명하기 위한 도면이다.
도 4는 일실시예에 따른 필요 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 방법의 흐름도이다.
도 5는 일실시예에 따른 장치의 구성의 예시도이다.1 is a view for explaining a system for providing information on a companion animal stool condition analysis using a stool sheet stool image using a stool sheet stool image according to an embodiment.
2 is a diagram for explaining learning of a neural network according to an embodiment of the present invention.
FIG. 3 is a view for explaining an apparatus for providing information on a companion animal stool condition analysis using a stool image of a stool sheet according to an embodiment.
4 is a flowchart of a method for providing information on analysis of a companion animal stool condition using a stool image of a required defecation sheet according to an embodiment.
5 is an exemplary diagram of a configuration of an apparatus according to an embodiment.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. However, since various changes may be made to the embodiments, the scope of the patent application is not limited or limited by these embodiments. It should be understood that all modifications, equivalents and substitutes for the embodiments are included in the scope of the rights.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Specific structural or functional descriptions of the embodiments are disclosed for purposes of illustration only, and may be changed and implemented in various forms. Accordingly, the embodiments are not limited to a specific disclosure form, and the scope of the present specification includes changes, equivalents, or substitutes included in the technical spirit.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Although terms such as first or second may be used to describe various components, these terms should be interpreted only for the purpose of distinguishing one component from another. For example, a first component may be termed a second component, and similarly, a second component may also be termed a first component.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.When a component is referred to as being “connected to” another component, it may be directly connected or connected to the other component, but it should be understood that another component may exist in between.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the examples are used for description purposes only, and should not be construed as limiting. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present specification, terms such as “comprise” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the embodiment belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. does not
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same components are given the same reference numerals regardless of the reference numerals, and the overlapping description thereof will be omitted. In the description of the embodiment, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the embodiment, the detailed description thereof will be omitted.
실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다. The embodiments may be implemented in various types of products, such as personal computers, laptop computers, tablet computers, smart phones, televisions, smart home appliances, intelligent cars, kiosks, wearable devices, and the like.
인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 규칙(Rule) 기반의 스마트 시스템과 달리 기계가 스스로 학습하고 판단하는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 규칙 기반의 스마트 시스템은 점차 심층 학습(Deep Learning) 기반 인공지능 시스템으로 대체되고 있다.An artificial intelligence (AI) system is a computer system that implements human-level intelligence, and unlike the existing rule-based smart system, the machine learns and makes decisions on its own. The more the AI system is used, the higher the recognition rate and the more accurate understanding of user preferences, and the existing rule-based smart systems are gradually being replaced by deep learning-based AI systems.
인공지능 기술은 기계 학습 및 기계 학습을 활용한 요소기술들로 구성된다. 기계 학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 심층 학습 등의 기계 학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.Artificial intelligence technology consists of machine learning and element technologies using machine learning. Machine learning is an algorithm technology that categorizes/learns characteristics of input data by itself, and element technology uses machine learning algorithms such as deep learning to simulate functions such as cognition and judgment of the human brain. It consists of technical fields such as understanding, reasoning/prediction, knowledge expression, and motion control.
인공지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.The various fields where artificial intelligence technology is applied are as follows. Linguistic understanding is a technology for recognizing and applying/processing human language/text, and includes natural language processing, machine translation, dialogue system, question and answer, and speech recognition/synthesis. Visual understanding is a technology for recognizing and processing objects like human vision, and includes object recognition, object tracking, image search, human recognition, scene understanding, spatial understanding, image improvement, and the like. Inferential prediction is a technique for logically reasoning and predicting by judging information, and includes knowledge/probability-based reasoning, optimization prediction, preference-based planning, recommendation, and the like. Knowledge expression is a technology that automatically processes human experience information into knowledge data, and includes knowledge construction (data generation/classification) and knowledge management (data utilization). Motion control is a technology for controlling autonomous driving of a vehicle and movement of a robot, and includes motion control (navigation, collision, driving), manipulation control (action control), and the like.
일반적으로 기계 학습 알고리즘을 실생활에 적용하기 위해서는 기계 학습의 기본 방법론의 특성상 Trial and Error 방식으로 학습을 수행하게 된다. 특히, 심층 학습의 경우 수십만 번의 반복 실행을 필요로 한다. 이를 실제 물리적인 외부 환경에서 실행하기는 불가능하여 대신 실제 물리적인 외부 환경을 컴퓨터상에서 가상으로 구현하여 시뮬레이션을 통해 학습을 수행한다.In general, in order to apply the machine learning algorithm to real life, learning is performed in the Trial and Error method due to the characteristics of the basic methodology of machine learning. In particular, deep learning requires hundreds of thousands of iterations. It is impossible to execute this in an actual physical external environment, so instead, the actual physical external environment is implemented on a computer and learning is performed through simulation.
도 1은 일실시예에 따른 배변 시트 대변 이미지를 활용한 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 시스템을 설명하기 위한 도면이다.1 is a view for explaining a system for providing information on a companion animal stool condition analysis using a stool sheet stool image using a stool sheet stool image according to an embodiment.
도 1에 도시한 바와 같이, 배변 시트 대변 이미지를 활용한 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 시스템(100)은, 다수의 사용자 단말(110-1, 110-2, … , 110-n), 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120), 데이터베이스(130) 및 네트워크(N)를 포함할 수 있다. 일 실시예에 따르면, 데이터베이스(130)는 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)와 별도로 구성된 것으로 도시되었지만 이에 한정되지 않고, 데이터베이스(130)가 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)내에 구비될 수도 있다. 예를 들어, 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는, 기계 학습 알고리즘의 수행을 위한 다수의 뉴럴 네트워크를 포함할 수 있다.As shown in Figure 1, the companion animal stool state analysis
배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는, 다수의 사용자 단말(110-1, 110-2, … , 110-n) 중 어느 하나의 사용자 단말(예를 들어, 110-1)로부터 식별자(예를 들어, 반려 동물)의 배변 시트 대변 이미지를 획득할 수 있다. 일 실시예에 따르면, 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는, 미리 설정된 기간(예를 들어, 3일, 1주일, 1개월 등) 동안의 배변 시트 대변 이미지들을 획득할 수 있다.Companion animal stool state analysis
배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는, 획득한 배변 시트 대변 이미지로부터 대변 객체 및 색상 코드를 검출할 수 있다. 일 실시예에 따르면, 색상 코드(color patch)는 배변 시트의 다양한 위치에 부착될 수 있고, 배변 시트와는 별도로 배변 시트 주변에 위치할 수도 있다.The companion animal stool state analysis
배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는, 검출된 색상 코드에 기초하여 검출된 대변 객체의 전처리를 수행할 수 있다. 일 실시예에 따르면, 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는, 색상 코드의 굴곡을 평탄화하고, 색상 코드의 색상들을 검출하며, 색상 코드의 색상들에 대해서 미리 정의된 색 정보와 검출된 색상들을 비교하여 색상 보정값을 생성하고, 색상 보정값을 이용하여 대변 객체의 색상을 보정할 수 있다. 다른 실시예에 따르면, 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는, 색상 코드의 미리 정의된 크기 정보를 이용하여 대변 객체의 크기를 산출할 수 있다.The companion animal stool state analysis
배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는, 전처리된 대변 객체를 처리하여 식별자의 대변 상태 판단 결과를 생성할 수 있다. 일 실시예에 따르면, 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는, 전처리된 대변 객체를 이용하여 대변의 상태를 분류하고, 분류된 대변 상태에 따라서 식별자에 대응하는 반려 동물의 건강 상태 정보(예를 들어, 소화 상태 정보)를 생성할 수 있다. 여기서, 대변의 상태는 설사 변비, 정상, 매우됨, 됨, 약간됨, 보통, 약간 묽음, 묽음, 및 매우 묽음 중 적어도 하나의 상태를 포함할 수 있지만, 이에 한정되지 않는다.The companion animal stool condition analysis
배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는, 전처리된 대변 객체를 전문가 단말로 전송하고, 전문가 단말로부터 전처리된 대변 객체에 대한 피드백 정보를 수신할 수 있다. 또한, 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는, 피드백 정보에 따라서 병원 내원이 필요한 경우 병원 예약 요청을 병원 서버로 전송하고, 병원 서버는 병원 예약 요청에 기초하여 병원 예약을 수행할 수 있다. 예를 들어, 전문가는 수의사이고, 피드백 정보에 따라 동물 병원 내원이 필요하다는 정보가 생성될 수 있다.The companion animal stool state analysis
배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는, 분류된 대변의 상태 각각에 가중치를 부여하고, 식별자에 대하여 미리 설정된 기간 동안의 제1 배변 시트 대변 이미지들 획득하며, 제1 배변 시트 대변 이미지들 각각으로부터 대변의 상태들을 추출하고, 추출된 대변의 상대들 각각에 대하여 부여된 가중치를 곱하고 합산하여 소화력 지수를 산출하며, 산출된 소화력 지수에 기초하여 식별자의 소화력 순위를 산출할 수 있다.The companion animal stool condition analysis
배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는, 생성된 대변 상태 판단 결과에 기초하여 식별자의 제1 신체나이 지수를 산출하고, 개인 정보를 이용하여 식별자의 제2 신체나이 지수를 산출하며, 섭취 음식 정보를 이용하여 식별자의 제3 신체나이 지수를 산출하고, 제1 내지 제3 신체나이 지수 각각에 가중치를 부여하고, 제1 내지 제3 신체나이 지수와 제1 내지 제3 신체나이 지수 각각에 부여된 가중치를 곱한 값의 평균을 산출하며, 산출된 평균을 최종 신체나이 지수로 생성할 수 있다.The companion animal stool condition analysis
배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는, 식별자의 개인 정보 및 섭취 음식 정보를 수신하고, 트레이닝 배변 시트 대변 이미지들을 획득하며, 트레이닝 배변 시트 대변 이미지들로부터 트레이닝 대변 객체들을 추출하고, 식별자의 개인 정보 및 섭취 음식 정보에 따른 트레이닝 대변 객체들의 상태를 나타내는 제1 레이블들을 획득하며, 트레이닝 대변 객체들을 미리 학습된 제1 뉴럴 네트워크로 적용하여, 트레이닝 대변 객체들에 대응하는 트레이닝 출력들을 생성하고, 트레이닝 출력들 및 제1 레이블들에 기초하여, 제1 뉴럴 네트워크를 학습시킬 수 있다. 여기서, 개인 정보는 식별자에 대응하는 반려 동물의 나이, 성별, 품종, 질환, 체중, 산책 횟수 및 알레르기 정보 중 적어도 하나를 포함하고, 섭취 음식 정보는 사료 정보, 건강기능식품 정보, 간식 정보, 약 정보, 영양제 정보 및 대체식품 정보 중 적어도 하나를 포함할 수 있지만, 이에 한정되지 않는다. 대변 객체의 전처리를 위한 학습 방법에 대해서는 후술하도록 한다.The companion animal stool state analysis
네트워크(N)는, 다수의 사용자 단말(110-1, 110-2, … , 110-n), 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120), 데이터베이스(130), 등 간의 무선 또는 유선 통신을 수행하도록 할 수 있다. 예를 들어, 네트워크는 LTE(long-term evolution), LTE-A(LTE Advanced), CDMA(code division multiple access), WCDMA(wideband CDMA), WiBro(Wireless BroadBand), WiFi(wireless fidelity), 블루투스(Bluetooth), NFC(near field communication), GPS(Global Positioning System) 또는 GNSS(global navigation satellite system) 등의 방식에 따른 무선 통신을 수행하도록 할 수 있다. 예를 들어, 네트워크는 USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232) 또는 POTS(plain old telephone service) 등의 방식에 따른 유선 통신을 수행하도록 할 수도 있다.The network (N), a plurality of user terminals (110-1, 110-2, ..., 110-n), the companion animal stool state analysis information using the stool image of the
데이터베이스(130)는, 다양한 데이터를 저장할 수 있다. 데이터베이스(130)에 저장되는 데이터는, 다수의 사용자 단말(110-1, 110-2, … , 110-n), 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)의 적어도 하나의 구성요소에 의해 획득되거나, 처리되거나, 사용되는 데이터로서, 소프트웨어(예를 들어: 프로그램)를 포함할 수 있다. 데이터베이스(130)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 일 실시예로서, 데이터베이스(130)는, 다수의 사용자 단말(110-1, 110-2, … , 110-n)로부터 획득된 배변 시트 대변 이미지들, 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)에서 형성된 대변 객체, 색상 코드, 대변 상태 판단 결과 등을 저장할 수 있다. The
본 발명에서, 인공지능(Artificial Intelligence, AI)은 인간의 학습능력, 추론능력, 지각능력 등을 모방하고, 이를 컴퓨터로 구현하는 기술을 의미하고, 기계 학습, 심볼릭 로직(Symbolic Logic) 등의 개념을 포함할 수 있다. 기계 학습(Machine Learning, ML)은 입력 데이터들의 특징을 스스로 분류 또는 학습하는 알고리즘 기술이다. 인공지능의 기술은 기계 학습의 알고리즘으로써 입력 데이터를 분석하고, 그 분석의 결과를 학습하며, 그 학습의 결과에 기초하여 판단이나 예측을 할 수 있다. 또한, 기계 학습의 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술들 역시 인공지능의 범주로 이해될 수 있다. 예를 들어, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야가 포함될 수 있다.In the present invention, artificial intelligence (AI) refers to a technology that imitates human learning ability, reasoning ability, perceptual ability, etc., and implements it with a computer, and the concept of machine learning, symbolic logic, etc. may include. Machine Learning (ML) is an algorithm technology that classifies or learns characteristics of input data by itself. Artificial intelligence technology is an algorithm of machine learning that can analyze input data, learn the results of the analysis, and make judgments or predictions based on the results of the learning. In addition, technologies that use machine learning algorithms to simulate functions such as cognition and judgment of the human brain can also be understood as a category of artificial intelligence. For example, technical fields such as verbal comprehension, visual comprehension, reasoning/prediction, knowledge expression, and motion control may be included.
기계 학습은 데이터를 처리한 경험을 이용해 신경망 모델을 훈련시키는 처리를 의미할 수 있다. 기계 학습을 통해 컴퓨터 소프트웨어는 스스로 데이터 처리 능력을 향상시키는 것을 의미할 수 있다. 신경망 모델은 데이터 사이의 상관 관계를 모델링하여 구축된 것으로서, 그 상관 관계는 복수의 파라미터에 의해 표현될 수 있다. 신경망 모델은 주어진 데이터로부터 특징들을 추출하고 분석하여 데이터 간의 상관 관계를 도출하는데, 이러한 과정을 반복하여 신경망 모델의 파라미터를 최적화해 나가는 것이 기계 학습이라고 할 수 있다. 예를 들어, 신경망 모델은 입출력 쌍으로 주어지는 데이터에 대하여, 입력과 출력 사이의 매핑(상관 관계)을 학습할 수 있다. 또는, 신경망 모델은 입력 데이터만 주어지는 경우에도 주어진 데이터 사이의 규칙성을 도출하여 그 관계를 학습할 수도 있다.Machine learning may refer to the processing of training a neural network model using experience of processing data. With machine learning, computer software could mean improving its own data processing capabilities. The neural network model is constructed by modeling the correlation between data, and the correlation may be expressed by a plurality of parameters. A neural network model extracts and analyzes features from given data to derive correlations between data, and repeating this process to optimize parameters of a neural network model can be called machine learning. For example, a neural network model may learn a mapping (correlation) between an input and an output with respect to data given as an input/output pair. Alternatively, the neural network model may learn the relationship by deriving regularity between the given data even when only input data is given.
인공지능 학습모델 또는 신경망 모델은 인간의 뇌 구조를 컴퓨터 상에서 구현하도록 설계될 수 있으며, 인간의 신경망의 뉴런(neuron)을 모의하며 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고받는 뉴런의 시냅틱(synaptic) 활동을 모의하여, 서로 간의 연결 관계를 가질 수 있다. 인공지능 학습모델에서 복수의 네트워크 노드들은 서로 다른 깊이의 레이어에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고받을 수 있다. 인공지능 학습모델은, 예를 들어, 인공 신경망 모델(Artificial Neural Network), 컨볼루션 신경망 모델(Convolution Neural Network: CNN) 등일 수 있다. 일 실시예로서, 인공지능 학습모델은, 지도학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning) 등의 방식에 따라 기계 학습될 수 있다. 기계 학습을 수행하기 위한 기계 학습 알고리즘에는, 의사결정트리(Decision Tree), 베이지안 망(Bayesian Network), 서포트 벡터 머신(Support Vector Machine), 인공 신경망(Artificial Neural Network), 에이다부스트(Ada-boost), 퍼셉트론(Perceptron), 유전자 프로그래밍(Genetic Programming), 군집화(Clustering) 등이 사용될 수 있다.The artificial intelligence learning model or neural network model may be designed to implement a human brain structure on a computer, and may include a plurality of network nodes that simulate neurons of a human neural network and have weights. A plurality of network nodes may have a connection relationship with each other by simulating a synaptic activity of a neuron through which a neuron sends and receives a signal through a synapse. In the AI learning model, a plurality of network nodes can exchange data according to a convolutional connection relationship while being located in layers of different depths. The AI learning model may be, for example, an artificial neural network model (Artificial Neural Network), a convolutional neural network model (CNN), or the like. As an embodiment, the AI learning model may be machine-learned according to a method such as supervised learning, unsupervised learning, reinforcement learning, or the like. Machine learning algorithms for performing machine learning include decision trees, Bayesian networks, support vector machines, artificial neural networks, and Ada-boost. , Perceptron, Genetic Programming, Clustering, etc. may be used.
이중, CNN은 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. CNN은 하나 또는 여러 개의 합성곱 계층과 그 위에 올려진 일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 통합 계층(pooling layer)들을 추가로 활용한다. 이러한 구조 덕분에 CNN은 2차원 구조의 입력 데이터를 충분히 활용할 수 있다. 다른 딥러닝 구조들과 비교해서, CNN은 영상, 음성 분야 모두에서 좋은 성능을 보여준다. CNN은 또한 표준 역전달을 통해 훈련될 수 있다. CNN은 다른 피드포워드 인공신경망 기법들보다 쉽게 훈련되는 편이고 적은 수의 매개변수를 사용한다는 이점이 있다.Among them, CNNs are a type of multilayer perceptrons designed to use minimal preprocessing. CNN consists of one or several convolutional layers and general artificial neural network layers on top of it, and additionally utilizes weights and pooling layers. Thanks to this structure, CNN can fully utilize the input data of the two-dimensional structure. Compared with other deep learning structures, CNN shows good performance in both video and audio fields. CNNs can also be trained through standard back-passing. CNNs are easier to train than other feed-forward neural network techniques and have the advantage of using fewer parameters.
컨볼루션 네트워크는 묶인 파라미터들을 가지는 노드들의 집합들을 포함하는 신경 네트워크들이다. 사용 가능한 트레이닝 데이터의 크기 증가와 연산 능력의 가용성이, 구분적 선형 단위 및 드롭아웃 트레이닝과 같은 알고리즘 발전과 결합되어, 많은 컴퓨터 비전 작업들이 크게 개선되었다. 오늘날 많은 작업에 사용할 수 있는 데이터 세트들과 같은 엄청난 양의 데이터 세트에서는 초과 맞춤(outfitting)이 중요하지 않으며, 네트워크의 크기를 늘리면 테스트 정확도가 향상된다. 컴퓨팅 리소스들의 최적 사용은 제한 요소가 된다. 이를 위해, 심층 신경 네트워크들의 분산된, 확장 가능한 구현예가 사용될 수 있다.Convolutional networks are neural networks that contain sets of nodes with bound parameters. The increasing size of available training data and the availability of computational power, combined with advances in algorithms such as piecewise linear units and dropout training, have greatly improved many computer vision tasks. For huge data sets, such as those available for many tasks today, overfitting is not important, and increasing the size of the network improves test accuracy. Optimal use of computing resources becomes a limiting factor. To this end, a distributed, scalable implementation of deep neural networks may be used.
사용자 단말(110-1)의 스마트폰 어플리케이션을 활용하여 배변 시트를 촬영하면, 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는 배변 시트 이미지를 분석하여 반려 동물의 대변으로부터 색깔과 모양에 따른 건강 상태 정보를 제공할 수 있다. 사용자는 반려 동물의 대변이 놓여 있는 배변 시트를 촬영하면 배변 시트 대변 이미지를 통해 분석된 소화 상태 정보 등을 제공받을 수 있다.When the defecation sheet is photographed using the smartphone application of the user terminal 110-1, the companion animal stool condition analysis
사용자 단말(110-1)에 접속한 보호자가 반려 동물의 출생일, 성별, 모유수유 여부와 같은 기본 정보를 어플리케이션을 통해 입력하면, 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)가 배변 시트를 촬영한 이미지를 기반으로 분석된 변의 상태, 변의 상태에 따른 건강 진단 결과와 원인, 동물 병원 또는 수의사 방문의 필요성, 생후 일수에 따른 맞춤형 대변 상태 가이드 정보를 제공할 수 있다.When the guardian accessing the user terminal 110-1 inputs basic information such as the birth date, gender, and breastfeeding status of the companion animal through the application, the companion animal stool condition analysis
동물 병원에서는 이미 반려 동물 대변으로부터 건강 상태를 진단하고 있고, 대변 정보를 전문의에 가져가는 것이 동물 병원 진단에서 권장되고 있다. CT/MRI 등 영상 기반 의료진단 기술도 CNN 알고리즘 등이 적용되어 발전하고 있는데, 머신러닝 기반 영상처리기술을 활용한다면 배변 시트 대변 이미지에 대한 전문의 진단 결과를 트레이닝 시킬 수 있다.Animal hospitals are already diagnosing health conditions from companion animal feces, and it is recommended to take stool information to a specialist in veterinary hospital diagnosis. Image-based medical diagnosis technologies such as CT/MRI are also being developed by applying CNN algorithms.
배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는 이미지 왜곡을 보정하기 위해, 배변 시트 한쪽 면에 색상 코드를 부착하고, 색상 코드가 포함된 이미지를 미리 학습된 SegNet 모델과 ResNet 모델에 적용하여 대변 상태를 분류하고, 신속한 동물 병원 진단을 위한 예비적인 정보를 제공할 수 있다. Companion animal stool condition analysis
의사소통에 한계가 있는 반려 동물의 건강 상태는 대변의 색깔과 모양으로부터 진단이 가능할 수 있다. 반려 동물의 대변 상태로부터 이상 증상이 발견된다면 신속하게 병원 진료를 받아 정확한 진단이 필요할 수 있다. The health condition of companion animals with communication limitations can be diagnosed from the color and shape of their stool. If abnormal symptoms are found in the stool of a companion animal, it may be necessary to promptly seek medical attention for an accurate diagnosis.
보호자는 정확한 진단을 위해 반려 동물의 대변 사진을 동물 병원 전문의에 보여주거나 배변 시트를 진료 시 가져가는데, 이는 반려 동물 대변이 건강 상태의 척도이기 때문이다.For an accurate diagnosis, parents show a picture of their companion animal's feces to a veterinary hospital specialist or bring a stool sheet to the doctor, because companion animal's stool is a measure of their health.
반려 동물 건강 진단 시장은 인공지능 기술의 발달로 가파르게 커지고 있는데, 현재까지는 센서를 활용하여 수집된 정보로 진단하는 서비스가 대부분이다(ECG, 산소량, 근처 미세먼지, 체온 등).The companion animal health diagnosis market is rapidly growing due to the development of artificial intelligence technology. Until now, most services that diagnose using the information collected using sensors are (ECG, oxygen level, nearby fine dust, body temperature, etc.).
CNN 등 인공 신경망의 활용도가 높아지면서, 이미지를 통해 의료 정보를 분석하는 기술도 고도화되고 있다. 영상의학 전문의가 머신 러닝 기반 MRI/CT 분석 기술을 통해 진단하는 활용예가 늘어나고 있고, 의료 진단 서비스의 대중화가 가속화되고 있다.As the use of artificial neural networks such as CNNs increases, the technology for analyzing medical information through images is also being advanced. The number of applications for radiologists to diagnose through machine learning-based MRI/CT analysis technology is increasing, and the popularization of medical diagnostic services is accelerating.
배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는 반려 동물 건강 진단 정보를 담고 있는 대변을 촬영하고, 촬영된 이미지를 딥 러닝 기술로 분석하여 전문의 판단 전에 예비적이고 보조적인 반려 동물 건강 관련 정보를 제공할 수 있다.The companion animal stool condition analysis
전통적인 배변 시트에 창의적인 IT기술을 결합한 서비스도 속속 출시되고 있는 상황에서, 반려 동물 건강과 직접적으로 관련된 대변으로부터 별도 센서 탑재 없이 반려 동물 건강 진단 서비스를 출시한다면 진료가 필요한 적절한 시점에 보호자와 동물 병원을 연결할 수 있다.In a situation where a service that combines creative IT technology with a traditional toilet seat is also being launched one after another, if a companion animal health diagnosis service is launched without a separate sensor from the feces directly related to the health of the companion animal, the guardian and the veterinary hospital will be provided at the appropriate time for treatment. can connect
사람의 성인 대변의 모양과 색상을 통해 만성 위장병 등 건강 상태를 진단하는 Bristol stool scale라는 의료 분류 체계가 있다. 아래는 Bristol Stool Chart를 나타낸다.There is a medical classification system called the Bristol stool scale that diagnoses health conditions such as chronic gastrointestinal disease through the shape and color of human adult stool. Below is the Bristol Stool Chart.
반려 동물의 대변은 반려 동물의 나이, 성별, 품종, 질환, 체중, 산책 횟수 등에 따라 그 모양과 색깔이 달라지고, 반려 동물 대변을 보고 건강 상태를 파악하기 위한 분류 체계 정보를 보호자에게 제공하는 것이 중요할 수 있다.The shape and color of the companion animal's feces change depending on the companion animal's age, sex, breed, disease, weight, and number of walks. can be important
반려 동물 건강 진단 솔루션의 완성도가 높아짐에 따라 다량의 이미지 확보를 통해 딥 러닝 기반 영상 처리 기술에 적합한 분류 체계 구축이 가능할 수 있다.As the quality of companion animal health diagnosis solutions increases, it may be possible to build a classification system suitable for deep learning-based image processing technology by securing a large amount of images.
배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는 반려 동물 대변 정보로부터 건강 상태를 예비 진단하는 솔루션을 구현하여 반려 동물 건강 시장에서 새로운 시장을 확보할 수 있다.The companion animal stool condition analysis
배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는 배변 시트의 대변 이미지 분석뿐만 아니라 생후 개 월수와 같은 반려 동물에 대한 정보를 바탕으로 필요한 정보를 해당 반려 동물에 적합한 형태로 제공할 수 있다. 예를 들어, 배변 습관 훈련 방법, 감각을 익히는 방법 등 정보를 제공할 수 있다.The companion animal stool condition analysis
배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는 반려 동물 대변 이미지를 확보하고, 히스토리를 추적하여 반려 동물 건강 상태를 지속적으로 모니터링할 수 있다.The companion animal stool condition analysis
반려 동물 대변 이미지 분석을 통해 동물 병원 진료가 필요한 상태인지 여부를 보호자가 파악하고, 진료가 필요하다면 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는 주변 병원 예약 서비스와 연결하여 신속한 진료를 도모할 수 있다.The guardian determines whether or not the animal hospital treatment is required through analysis of the companion animal stool image, and if treatment is required, the companion animal stool condition analysis
배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는 병원 진단 시 배변 시트 대변 촬영 결과를 제공하여 정확한 진단에 필요한 정보를 제공할 수 있다.The companion animal stool state analysis
반려 동물 건강 진단 결과 솔루션을 고도화하기 위하여 배변 시트 대변 이미지를 촬영하면 트레이닝이 가능한 규격으로 전처리를 하기 위한 어플리케이션을 구현할 수 있다.In order to advance the companion animal health diagnosis result solution, by taking an image of the stool sheet stool, it is possible to implement an application for pre-processing to a standard that can be trained.
대변 이미지 분류 관련 2019년 논문(Augmenting Gastrointestinal Health: A Deep Learning Approach to Human Stool Recognition and Characterization in Macroscopic Images, https://arxiv.org/ftp/arxiv/papers/1903/1903.10578.pdf)에 따르면, 650 여개의 이미지 트레이닝 시 식별 및 분류 모델의 정확도가 대략 70 % 이상이고, 25200 개 이미지 트레이닝 시 99.4 %의 정확도가 확보될 수 있다고 기재되어 있다.According to a 2019 paper on classification of stool images (Augmenting Gastrointestinal Health: A Deep Learning Approach to Human Stool Recognition and Characterization in Macroscopic Images, https://arxiv.org/ftp/arxiv/papers/1903/1903.10578.pdf), 650 It is described that the accuracy of the identification and classification model is more than 70% when training several images, and 99.4% accuracy can be secured when training 25200 images.
배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는 SegNet을 기반으로 식별된 대변을 ResNet으로 색깔 기반 분류를 수행하는 모델을 학습시킬 수 있다.The companion animal stool state analysis
배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는 레이블링 된 이미지를 학습한 SegNet 및 ResNet을 활용하여 배변 시트 대변 이미지 분석 솔루션을 구현할 수 있다.The companion animal stool condition analysis
배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는 "색상 코드"가 부착된 배변 시트 대변 이미지를 활용하여 이미지 왜곡 보정 기능이 탑재된 어플리케이션을 구현할 수 있다.Companion animal stool condition analysis
배변 시트 대변 이미지의 촬영 환경이나 이미지 센서의 사양에 따라 변하는 이미지 상태로 인해 왜곡 문제가 발생할 수 있는데, 이를 해결하기 위해 배변 시트 한쪽 면에 "색상 코드"를 부착하고, "색상 코드"와 같이 촬영된 이미지 분석 결과를 통해 진단의 정확성을 높일 수 있다.Distortion problems may occur due to image conditions that change depending on the shooting environment of the stool image or the specifications of the image sensor. It is possible to increase the accuracy of diagnosis through the image analysis result.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The embodiments described above may be implemented by a hardware component, a software component, and/or a combination of a hardware component and a software component. For example, the apparatus, methods and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate (FPGA). array), a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For convenience of understanding, although one processing device is sometimes described as being used, one of ordinary skill in the art will recognize that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that can include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.
도 2는 본 발명의 실시예에 따른 뉴럴 네트워크의 학습을 설명하기 위한 도면이다.2 is a diagram for explaining learning of a neural network according to an embodiment of the present invention.
도 2에 도시한 바와 같이, 학습 장치는 배변 시트 대변 이미지가 포함하는 대변 객체의 전처리를 위하여 뉴럴 네트워크(124)를 학습시킬 수 있다. 일 실시예에 따르면, 학습 장치는 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)와 다른 별개의 주체일 수 있지만, 이에 제한되는 것은 아니다.As shown in FIG. 2 , the learning apparatus may train the
뉴럴 네트워크(124)는 트레이닝 샘플들이 입력되는 입력 레이어(122)와 트레이닝 출력들을 출력하는 출력 레이어(126)를 포함하고, 트레이닝 출력들과 레이블들 사이의 차이에 기초하여 학습될 수 있다. 여기서, 레이블들은 색상 코드 및 색상 코드에 대응하는 식별 정보에 기초하여 정의될 수 있다. 뉴럴 네트워크(124)는 복수의 노드들의 그룹으로 연결되어 있고, 연결된 노드들 사이의 가중치들과 노드들을 활성화시키는 활성화 함수에 의해 정의된다. The
학습 장치는 GD(Gradient Decent) 기법 또는 SGD(Stochastic Gradient Descent) 기법을 이용하여 뉴럴 네트워크(124)를 학습시킬 수 있다. 학습 장치는 뉴럴 네트워크의 출력들 및 레이블들 의해 설계된 손실 함수(Loss Function)를 이용할 수 있다.The learning apparatus may train the
학습 장치는 미리 정의된 손실 함수를 이용하여 트레이닝 에러를 계산할 수 있다. 손실 함수는 레이블, 출력 및 파라미터를 입력 변수로 미리 정의될 수 있고, 여기서 파라미터는 뉴럴 네트워크(124) 내 가중치들에 의해 설정될 수 있다. 예를 들어, 손실 함수는 MSE(Mean Square Error) 형태, 엔트로피(entropy) 형태 등으로 설계될 수 있는데, 손실 함수가 설계되는 실시예에는 다양한 기법 또는 방식이 채용될 수 있다.The learning apparatus may calculate the training error using a predefined loss function. The loss function may be predefined with labels, outputs and parameters as input variables, where the parameters may be set by weights in the
학습 장치는 역전파(Backpropagation) 기법을 이용하여 트레이닝 에러에 영향을 주는 가중치들을 찾아낼 수 있다. 여기서, 가중치들은 뉴럴 네트워크(124) 내 노드들 사이의 관계들이다. 학습 장치는 역전파 기법을 통해 찾아낸 가중치들을 최적화시키기 위해 레이블들 및 출력들을 이용한 SGD 기법을 이용할 수 있다. 예를 들어, 학습 장치는 레이블들, 출력들 및 가중치들에 기초하여 정의된 손실 함수의 가중치들을 SGD 기법을 이용하여 갱신할 수 있다.The learning apparatus may find weights affecting the training error by using a backpropagation technique. Here, the weights are relationships between nodes in the
일 실시예에 따르면, 학습 장치는 트레이닝 배변 시트 대변 이미지들을 획득하고, 트레이닝 배변 시트 대변 이미지들로부터 트레이닝 색상 코드들을 추출할 수 있다. 학습 장치는 트레이닝 색상 코드들에 대해서 각각 미리 레이블링 된 정보(제1 레이블들)를 획득할 수 있는데, 트레이닝 색상 코드들에 미리 정의된 색 정보를 나타내는 제1 레이블들을 획득할 수 있다. According to an embodiment, the learning device may obtain training bowel movement sheet stool images, and extract training color codes from the training bowel movement sheet stool images. The learning apparatus may obtain pre-labeled information (first labels) for each of the training color codes, and may obtain first labels indicating color information predefined in the training color codes.
일 실시예에 따르면, 학습 장치는 트레이닝 색상 코드들의 외관 특징들, 패턴 특징들 및 색상 특징들에 기초하여 제1 트레이닝 특징 벡터들을 생성할 수 있다. 특징을 추출하는 데는 다양한 방식이 채용될 수 있다.According to an embodiment, the learning apparatus may generate the first training feature vectors based on appearance features, pattern features, and color features of the training color codes. Various methods may be employed for extracting the feature.
일 실시예에 따르면, 학습 장치는 제1 트레이닝 특징 벡터들을 뉴럴 네트워크(124)에 적용하여 트레이닝 출력들을 획득할 수 있다. 학습 장치는 트레이닝 출력들과 제1 레이블들에 기초하여 뉴럴 네트워크(124)를 학습시킬 수 있다. 학습 장치는 트레이닝 출력들에 대응하는 트레이닝 에러들을 계산하고, 그 트레이닝 에러들을 최소화하기 위해 뉴럴 네트워크(124) 내 노드들의 연결 관계를 최적화하여 뉴럴 네트워크(124)를 학습시킬 수 있다. 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는 학습이 완료된 뉴럴 네트워크(124)를 이용하여 배변 시트 대변 이미지로부터 색상 코드를 추출할 수 있다.According to an embodiment, the learning apparatus may obtain training outputs by applying the first training feature vectors to the
다른 실시예에 따르면, 학습 장치는 트레이닝 배변 시트 대변 이미지들을 획득하고, 트레이닝 배변 시트 대변 이미지들로부터 트레이닝 색상 코드들을 추출할 수 있다. 학습 장치는 트레이닝 색상 코드들에 대해서 각각 미리 레이블링 된 정보(제2 레이블들)를 획득할 수 있는데, 트레이닝 색상 코드들에 대해서 미리 정의된 직사각형 정보를 나타내는 제2 레이블들을 획득할 수 있다.According to another embodiment, the learning device may obtain training stool sheet stool images, and extract training color codes from the training stool sheet stool images. The learning apparatus may obtain pre-labeled information (second labels) for each of the training color codes, and may obtain second labels indicating predefined rectangular information with respect to the training color codes.
다른 실시예에 따르면, 학습 장치는 트레이닝 색상 코드들의 외관 특징들, 패턴 특징들 및 색상 특징들에 기초하여 제2 트레이닝 특징 벡터들을 생성할 수 있다. 특징을 추출하는 데는 다양한 방식이 채용될 수 있다.According to another embodiment, the learning apparatus may generate the second training feature vectors based on appearance features, pattern features, and color features of the training color codes. Various methods may be employed for extracting the feature.
다른 실시예에 따르면, 학습 장치는 제2 트레이닝 특징 벡터들을 뉴럴 네트워크(124)에 적용하여 트레이닝 출력들을 획득할 수 있다. 학습 장치는 트레이닝 출력들과 제2 레이블들에 기초하여 뉴럴 네트워크(124)를 학습시킬 수 있다. 학습 장치는 트레이닝 출력들에 대응하는 트레이닝 에러들을 계산하고, 그 트레이닝 에러들을 최소화하기 위해 뉴럴 네트워크(124) 내 노드들의 연결 관계를 최적화하여 뉴럴 네트워크(124)를 학습시킬 수 있다. 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는 학습이 완료된 뉴럴 네트워크(124)를 이용하여 배변 시트 대변 이미지로부터 추출된 색상 코드의 굴곡을 평탄화 할 수 있다.According to another embodiment, the learning apparatus may obtain training outputs by applying the second training feature vectors to the
또 다른 실시예에 따르면, 학습 장치는 식별자의 개인 정보 및 섭취 음식 정보를 수신할 수 있다. 예를 들어, 개인 정보는 상기 식별자에 대응하는 반려 동물의 나이, 성별, 품종, 질환, 체중, 산책 횟수 및 알레르기 정보 중 적어도 하나를 포함할 수 있고, 섭취 음식 정보는 사료 정보, 건강기능식품 정보, 간식 정보, 약 정보, 영양제 정보 및 대체식품 정보 중 적어도 하나를 포함할 수 있지만, 이에 한정되지 않는다.According to another embodiment, the learning device may receive the personal information of the identifier and the food intake information. For example, the personal information may include at least one of age, sex, breed, disease, weight, number of walks, and allergy information of the companion animal corresponding to the identifier, and the food intake information includes feed information and health functional food information. , snack information, drug information, nutritional supplement information, and alternative food information, but is not limited thereto.
또 다른 실시예에 따르면, 학습 장치는 트레이닝 배변 시트 대변 이미지들을 획득하고, 트레이닝 배변 시트 대변 이미지들로부터 트레이닝 대변 객체들을 추출할 수 있다. 학습 장치는 트레이닝 대변 객체들에 대해서 각각 미리 레이블링 된 정보(제3 레이블들)를 획득할 수 있는데, 식별자의 개인 정보 및 섭취 음식 정보에 따른 트레이닝 대변 객체들의 상태를 나타내는 제3 레이블들을 획득할 수 있다.According to another embodiment, the learning device may obtain training stool sheet stool images, and extract training stool objects from the training stool sheet stool images. The learning device may obtain pre-labeled information (third labels) for each training stool object, and obtain third labels indicating the status of training stool objects according to personal information of the identifier and food intake information. have.
또 다른 실시예에 따르면, 학습 장치는 트레이닝 대변 객체들의 외관 특징들, 패턴 특징들 및 색상 특징들에 기초하여 제3 트레이닝 특징 벡터들을 생성할 수 있다. 특징을 추출하는 데는 다양한 방식이 채용될 수 있다.According to another embodiment, the learning apparatus may generate the third training feature vectors based on appearance features, pattern features, and color features of the training stool objects. Various methods may be employed for extracting the feature.
또 다른 실시예에 따르면, 학습 장치는 제3 트레이닝 특징 벡터들을 뉴럴 네트워크(124)에 적용하여 트레이닝 출력들을 획득할 수 있다. 학습 장치는 트레이닝 출력들과 제3 레이블들에 기초하여 뉴럴 네트워크(124)를 학습시킬 수 있다. 학습 장치는 트레이닝 출력들에 대응하는 트레이닝 에러들을 계산하고, 그 트레이닝 에러들을 최소화하기 위해 뉴럴 네트워크(124) 내 노드들의 연결 관계를 최적화하여 뉴럴 네트워크(124)를 학습시킬 수 있다. 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는 학습이 완료된 뉴럴 네트워크(124)를 이용하여 배변 시트 대변 이미지로부터 식별자의 대변 상태 판단 결과를 생성할 수 있다.According to another embodiment, the learning apparatus may obtain training outputs by applying the third training feature vectors to the
도 3은 일실시예에 따른 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치를 설명하기 위한 도면이다.FIG. 3 is a view for explaining an apparatus for providing information on a companion animal stool condition analysis using a stool image of a stool sheet according to an embodiment.
도 3에 도시한 바와 같이, 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는 하나 이상의 프로세서(122), 하나 이상의 메모리(124) 및/또는 송수신기(126)를 포함할 수 있다. 일 실시예로서, 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)의 이 구성요소들 중 적어도 하나가 생략되거나, 다른 구성요소가 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)에 추가될 수 있다. 추가적으로(additionally) 또는 대체적으로(alternatively), 일부의 구성요소들이 통합되어 구현되거나, 단수 또는 복수의 개체로 구현될 수 있다. 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120) 내, 외부의 구성요소들 중 적어도 일부의 구성요소들은 버스, GPIO(general purpose input/output), SPI(serial peripheral interface) 또는 MIPI(mobile industry processor interface) 등을 통해 서로 연결되어, 데이터 및/또는 시그널을 주고받을 수 있다.As shown in FIG. 3 , the companion animal stool state analysis
하나 이상의 프로세서(122)는 소프트웨어(예: 명령, 프로그램 등)를 구동하여 프로세서(122)에 연결된 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)의 적어도 하나의 구성요소를 제어할 수 있다. 또한, 프로세서(122)는 본 발명과 관련된 다양한 연산, 처리, 데이터 생성, 가공 등의 동작을 수행할 수 있다. 또한, 프로세서(122)는 데이터 등을 하나 이상의 메모리(124)로부터 로드하거나, 하나 이상의 메모리(124)에 저장할 수 있다.The one or
전술한 바와 같이, 하나 이상의 프로세서(122)는, 송수신기(126)를 통하여 다수의 사용자 단말(110-1, 110-2, … , 110-n) 중 어느 하나의 사용자 단말(예를 들어, 110-1)로부터 미리 설정된 기간 동안의 배변 시트 대변 이미지들을 디지털 패킷의 형태로 실시간 또는 비실시간으로 수신할 수 있다.As described above, the one or
하나 이상의 프로세서(122)는, 송수신기(126)를 통해서 사용자 단말(110-1)로부터 수신된 배변 시트 대변 이미지들을 이용하여 대변 객체 및 색상 코드를 검출할 수 있다. 일 실시예에 따르면, 하나 이상의 프로세서(122)는, 딥러닝과 같은 기계 학습 알고리즘을 이용하여 배변 시트 대변 이미지들로부터 대변 객체 및 색상 코드를 검출할 수 있다.The one or
하나 이상의 프로세서(122)는, 검출된 색상 코드에 기초하여, 대변 객체의 전처리를 수행할 수 있다. 일 실시예에 따르면, 검출된 색상 코드의 굴곡을 평탄화하고, 색상 코드의 색상들을 검출하며, 색상 코드의 색상들에 대해서 미리 정의된 색 정보와 검출된 색상들을 비교하여 색상 보정값을 생성하고, 색상 보정값을 이용하여 대변 객체의 색상을 보정할 수 있다.The one or
하나 이상의 프로세서(122)는, 전처리된 대변 객체를 처리하여 식별자의 대변 상태 판단 결과를 생성할 수 있다. 일 실시예에 따르면, 프로세서(122)는, 식별자의 대변 상태 판단 결과를 설사, 변비, 정상, 매우 됨, 됨, 약간 됨, 보통, 약간 묽음, 묽음, 매우 묽음 등으로 생성할 수 있지만, 이에 한정되지 않는다.The one or
하나 이상의 메모리(124)는 다양한 데이터를 저장할 수 있다. 메모리(124)에 저장되는 데이터는, 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)의 적어도 하나의 구성요소에 의해 획득되거나, 처리되거나, 사용되는 데이터로서, 소프트웨어(예: 명령, 프로그램 등)를 포함할 수 있다. 메모리(124)는 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 본 발명에서, 명령 내지 프로그램은 메모리(124)에 저장되는 소프트웨어로서, 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)의 리소스를 제어하기 위한 운영체제, 어플리케이션 및/또는 어플리케이션이 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)의 리소스들을 활용할 수 있도록 다양한 기능을 어플리케이션에 제공하는 미들 웨어 등을 포함할 수 있다.The one or
하나 이상의 메모리(124)는 상술한 다수의 사용자 단말(110-1, 110-2, … , 110-n)로부터 네트워크(N)를 통하여 수신한 배변 시트 대변 이미지들, 하나 이상의 프로세서(122)에서 형성된 대변 객체들, 색상 코드들, 대변 상태 판단 결과 등을 저장할 수 있다. 또한, 하나 이상의 메모리(124)는, 하나 이상의 프로세서(122)에 의한 실행 시, 하나 이상의 프로세서(122)가 연산을 수행하도록 하는 명령들을 저장할 수 있다.One or
일 실시예로서, 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는 송수신기(126)를 더 포함할 수 있다. 송수신기(126)는, 다수의 사용자 단말(110-1, 110-2, … , 110-n), 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120), 데이터베이스(130) 및/또는 기타 다른 장치 간의 무선 또는 유선 통신을 수행할 수 있다. 예를 들어, 송수신기(126)는 eMBB(enhanced Mobile Broadband), URLLC(Ultra Reliable Low-Latency Communications), MMTC(Massive Machine Type Communications), LTE(long-term evolution), LTE-A(LTE Advance), UMTS(Universal Mobile Telecommunications System), GSM(Global System for Mobile communications), CDMA(code division multiple access), WCDMA(wideband CDMA), WiBro(Wireless Broadband), WiFi(wireless fidelity), 블루투스(Bluetooth), NFC(near field communication), GPS(Global Positioning System) 또는 GNSS(global navigation satellite system) 등의 방식에 따른 무선 통신을 수행할 수 있다. 예를 들어, 송수신기(126)는 USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232) 또는 POTS(plain old telephone service) 등의 방식에 따른 유선 통신을 수행할 수 있다.As an embodiment, the companion animal stool state analysis
일 실시예로서, 하나 이상의 프로세서(122)는 송수신기(126)를 제어하여 다수의 사용자 단말(110-1, 110-2, … , 110-n), 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)로부터 정보를 획득할 수 있다. 다수의 사용자 단말(110-1, 110-2, … , 110-n), 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)로부터 획득된 정보는 하나 이상의 메모리(124)에 저장될 수 있다.As an embodiment, the one or
일 실시예로서, 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는 다양한 형태의 장치가 될 수 있다. 예를 들어, 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는 휴대용 통신 장치, 컴퓨터 장치, 또는 상술한 장치들 중 하나 또는 그 이상의 조합에 따른 장치일 수 있다. 본 발명의 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는 전술한 장치들에 한정되지 않는다.As an embodiment, the companion animal stool state analysis
본 발명에 따른 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)의 다양한 실시예들은 서로 조합될 수 있다. 각 실시예들은 경우의 수에 따라 조합될 수 있으며, 조합되어 만들어진 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)의 실시예 역시 본 발명의 범위에 속한다. 또한 전술한 본 발명에 따른 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)의 내/외부 구성 요소들은 실시예에 따라 추가, 변경, 대체 또는 삭제될 수 있다. 또한 전술한 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)의 내/외부 구성 요소들은 하드웨어 컴포넌트로 구현될 수 있다.Various embodiments of the companion animal stool condition analysis
도 4는 일실시예에 따른 필요 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 방법의 흐름도이다.4 is a flowchart of a method for providing information on analysis of a companion animal stool condition using a stool image of a required defecation sheet according to an embodiment.
도 4의 흐름도에서 프로세스 단계들, 방법 단계들, 알고리즘들 등이 순차적인 순서로 설명되었지만, 그러한 프로세스들, 방법들 및 알고리즘들은 임의의 적합한 순서로 작동하도록 구성될 수 있다. 다시 말하면, 본 발명의 다양한 실시예들에서 설명되는 프로세스들, 방법들 및 알고리즘들의 단계들이 본 발명에서 기술된 순서로 수행될 필요는 없다. 또한, 일부 단계들이 비동시적으로 수행되는 것으로서 설명되더라도, 다른 실시예에서는 이러한 일부 단계들이 동시에 수행될 수 있다. 또한, 도면에서의 묘사에 의한 프로세스의 예시는 예시된 프로세스가 그에 대한 다른 변화들 및 수정들을 제외하는 것을 의미하지 않으며, 예시된 프로세스 또는 그의 단계들 중 임의의 것이 본 발명의 다양한 실시예들 중 하나 이상에 필수적임을 의미하지 않으며, 예시된 프로세스가 바람직하다는 것을 의미하지 않는다.Although process steps, method steps, algorithms, etc. are described in a sequential order in the flowchart of FIG. 4 , such processes, methods, and algorithms may be configured to operate in any suitable order. In other words, the steps of the processes, methods, and algorithms described in various embodiments of the invention need not be performed in the order described herein. Also, although some steps are described as being performed asynchronously, in other embodiments some of these steps may be performed concurrently. Further, the exemplification of a process by description in the drawings does not imply that the exemplified process excludes other changes and modifications thereto, and that the illustrated process or any of its steps is not one of the various embodiments of the present invention. It is not meant to be essential to one or more, nor does it imply that the illustrated process is preferred.
도 4에 도시한 바와 같이, 단계(S410)에서, 식별자의 배변 시트 대변 이미지가 획득된다. 예를 들어, 도 1 내지 도 3을 참조하면, 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는, 다수의 사용자 단말(110-1, 110-2, … , 110-n) 중 어느 하나의 사용자 단말(예를 들어, 110-1)로부터 네트워크(N)를 통하여 배변 시트 대변 이미지를 획득할 수 있다.As shown in Figure 4, in step (S410), the stool sheet stool image of the identifier is obtained. For example, referring to FIGS. 1 to 3 , the companion animal stool state analysis
단계(S420)에서, 배변 시트 대변 이미지로부터 대변 객체 및 색상 코드가 검출된다. 예를 들어, 도 1 내지 도 3을 참조하면, 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는, 단계 S410에서 획득된 배변 시트 대변 이미지로부터 대변 객체 및 색상 코드를 검출할 수 있다.In step S420, the stool object and color code are detected from the stool sheet stool image. For example, referring to FIGS. 1 to 3 , the companion animal stool state analysis
단계(S430)에서, 색상 코드에 기초하여, 대변 객체가 전처리 된다. 예를 들어, 도 1 내지 도 3을 참조하면, 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는, 단계 S410에서 검출된 색상 코드에 기초하여, 단계 S410에서 검출된 대변 객체의 전처리를 수행할 수 있다. 일 실시예에 따르면, 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는, 검출된 색상 코드의 굴곡을 평탄화하고, 색상 코드의 색상들을 검출하며, 색상 코드의 색상들에 대해서 미리 정의된 색 정보와 검출된 색상들을 비교하여 색상 보정값을 생성하고, 색상 보정값을 이용하여 대변 객체의 색상을 보정하여 대변 객체의 전처리를 수행할 수 있다.In step S430, based on the color code, the stool object is pre-processed. For example, referring to FIGS. 1 to 3 , the companion animal stool condition analysis
단계(S440)에서, 전처리된 대변 객체를 처리하여 식별자의 대변 상태 판단 결과가 생성된다. 예를 들어, 도 1 내지 도 3을 참조하면, 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는, 단계 S430에서 전처리된 대변 객체를 처리하여 식별자의 대변 상태 판단 결과를 생성할 수 있다. 일 실시예에 따르면, 배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 장치(120)는, 식별자의 대변 상태 판단 결과를 설사, 변비, 정상, 매우 됨, 됨, 약간 됨, 보통, 약간 묽음, 묽음, 매우 묽음 등으로 생성할 수 있다.In step S440, the preprocessed stool object is processed to generate a stool status determination result of the identifier. For example, referring to FIGS. 1 to 3 , the companion animal stool condition analysis
도 5는 일실시예에 따른 장치의 구성의 예시도이다.5 is an exemplary diagram of a configuration of an apparatus according to an embodiment.
일실시예에 따른 장치(401)는 프로세서(402) 및 메모리(403)를 포함한다. 일실시예에 따른 장치(401)는 상술한 서버 또는 단말일 수 있다. 프로세서는 도 1 내지 도 4를 통하여 전술한 적어도 하나의 장치들을 포함하거나, 도 1 내지 도 4를 통하여 전술한 적어도 하나의 방법을 수행할 수 있다. 메모리(403)는 상술한 방법과 관련된 정보를 저장하거나 상술한 방법이 구현된 프로그램을 저장할 수 있다. 메모리(403)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다. The
프로세서(402)는 프로그램을 실행하고, 장치(401)를 제어할 수 있다. 프로세서(402)에 의하여 실행되는 프로그램의 코드는 메모리(403)에 저장될 수 있다. 장치(401)는 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다. 일실시예에 따른 방법을 통해 사용자 단말에 설치되는 어플리케이션이 구현될 수 있고, 어플리케이션은 사용자가 반려 동물의 배변 시트 상에 놓인 대변을 촬영하고, 그 촬영된 이미지를 어플리케이션을 통해 서버로 전송하면 서버로부터 대변 상태의 분석 결과를 제공 받는 방식으로 구현될 수 있다. 이 때 사용자는 배변횟수, 배변시기, 건강상태, 직전식단, 반려 동물체중, 특이사항 등의 정보를 추가로 입력할 수 있고, 이에 기반한 분석 정보를 제공받을 수 있다.The
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The embodiments described above may be implemented by a hardware component, a software component, and/or a combination of a hardware component and a software component. For example, the apparatus, methods and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate (FPGA). array), a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For convenience of understanding, although one processing device is sometimes described as being used, one of ordinary skill in the art will recognize that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that can include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and carry out program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device. The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. , or may be permanently or temporarily embody in a transmitted signal wave. The software may be distributed over networked computer systems, and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with reference to the limited drawings, those skilled in the art may apply various technical modifications and variations based on the above. For example, the described techniques are performed in a different order than the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.
Claims (5)
미리 학습된 인공지능 모델을 이용하여, 상기 배변 시트 대변 이미지로부터 대변 객체 및 색상 코드를 검출하는 단계;
상기 색상 코드에 기초하여 수행되는 색상 보정을 통해, 상기 대변 객체를 전처리하는 단계; 및
상기 전처리된 대변 객체를 처리하여 상기 식별자의 대변 상태 판단 결과를 생성하는 단계
를 포함하고,
상기 색상 코드를 검출하는 단계는
트레이닝 배변 시트 대변 이미지들을 획득하는 단계;
상기 트레이닝 배변 시트 대변 이미지들로부터 트레이닝 색상 코드들을 추출하는 단계;
상기 트레이닝 색상 코드들에 대해서 미리 정의된 색 정보를 나타내는 제1 레이블들을 획득하는 단계;
상기 트레이닝 색상 코드들을 미리 학습된 제1 뉴럴 네트워크로 적용하여, 상기 트레이닝 색상 코드들에 대응하는 트레이닝 출력들을 생성하는 단계; 및
상기 트레이닝 출력들 및 상기 제1 레이블들에 기초하여, 상기 제1 뉴럴 네트워크를 학습시키는 단계
를 포함하는,
배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 방법.
obtaining an image of the stool sheet stool of the identifier;
detecting a stool object and a color code from the stool sheet stool image by using a pre-trained artificial intelligence model;
preprocessing the stool object through color correction performed based on the color code; and
generating a stool status determination result of the identifier by processing the pre-processed stool object;
including,
The step of detecting the color code is
acquiring training stool sheet stool images;
extracting training color codes from the training stool sheet stool images;
obtaining first labels indicating predefined color information for the training color codes;
applying the training color codes to a pre-learned first neural network to generate training outputs corresponding to the training color codes; and
training the first neural network based on the training outputs and the first labels.
containing,
A method of providing information on the status of companion animal stool analysis using a stool sheet stool image.
미리 학습된 인공지능 모델을 이용하여, 상기 배변 시트 대변 이미지로부터 대변 객체 및 색상 코드를 검출하는 단계;
상기 색상 코드에 기초하여 수행되는 색상 보정을 통해, 상기 대변 객체를 전처리하는 단계; 및
상기 전처리된 대변 객체를 처리하여 상기 식별자의 대변 상태 판단 결과를 생성하는 단계
를 포함하고,
상기 대변 객체를 전처리하는 단계는
상기 색상 코드의 굴곡을 평탄화하는 단계;
상기 색상 코드의 색상들을 검출하는 단계;
상기 색상 코드의 색상들에 대해서 미리 정의된 색 정보와 상기 검출된 색상들을 비교하여 색상 보정값을 생성하는 단계; 및
상기 색상 보정값을 이용하여 상기 대변 객체의 색상을 보정하는 단계
를 포함하는,
배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 방법.
obtaining an image of the stool sheet stool of the identifier;
detecting a stool object and a color code from the stool sheet stool image by using a pre-trained artificial intelligence model;
preprocessing the stool object through color correction performed based on the color code; and
generating a stool status determination result of the identifier by processing the pre-processed stool object;
including,
The step of preprocessing the stool object is
flattening the curves of the color code;
detecting colors of the color code;
generating a color correction value by comparing the detected colors with predefined color information for the colors of the color code; and
correcting the color of the stool object using the color correction value
containing,
A method of providing information on the status of companion animal stool analysis using a stool sheet stool image.
상기 색상 코드의 굴곡을 평탄화하는 단계는
트레이닝 배변 시트 대변 이미지들을 획득하는 단계;
상기 트레이닝 배변 시트 대변 이미지들로부터 트레이닝 색상 코드들을 추출하는 단계;
상기 트레이닝 색상 코드들에 대해서 미리 정의된 직사각형 정보를 나타내는 제2 레이블들을 획득하는 단계;
상기 트레이닝 색상 코드들을 미리 학습된 제2 뉴럴 네트워크로 적용하여, 상기 트레이닝 색상 코드들에 대응하는 트레이닝 출력들을 생성하는 단계; 및
상기 트레이닝 출력들 및 상기 제2 레이블들에 기초하여, 상기 제2 뉴럴 네트워크를 학습시키는 단계
를 포함하는,
배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 방법.
4. The method of claim 3,
The step of flattening the curve of the color code is
acquiring training stool sheet stool images;
extracting training color codes from the training stool sheet stool images;
obtaining second labels representing predefined rectangular information for the training color codes;
applying the training color codes to a pre-learned second neural network to generate training outputs corresponding to the training color codes; and
training the second neural network based on the training outputs and the second labels.
containing,
A method of providing information on the status of companion animal stool analysis using a stool sheet stool image.
상기 대변 객체를 전처리하는 단계는
상기 색상 코드의 미리 정의된 크기 정보를 이용하여 상기 대변 객체의 크기를 산출하는 단계
를 포함하는,
배변 시트 대변 이미지를 활용한 반려 동물 대변 상태 분석 정보 제공 방법.
According to claim 1,
The step of preprocessing the stool object is
Calculating the size of the stool object using predefined size information of the color code
containing,
A method of providing information on the status of companion animal stool analysis using a stool sheet stool image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210101843A KR102330858B1 (en) | 2021-08-03 | 2021-08-03 | Method, apparatus, and system for providing information on analysis of pet stool status using stool sheet stool images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210101843A KR102330858B1 (en) | 2021-08-03 | 2021-08-03 | Method, apparatus, and system for providing information on analysis of pet stool status using stool sheet stool images |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102330858B1 true KR102330858B1 (en) | 2021-11-25 |
Family
ID=78745783
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210101843A KR102330858B1 (en) | 2021-08-03 | 2021-08-03 | Method, apparatus, and system for providing information on analysis of pet stool status using stool sheet stool images |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102330858B1 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102524375B1 (en) | 2022-04-01 | 2023-04-21 | (주)정보와생각 | System and method for inspecting pet excreta |
| CN116267695A (en) * | 2023-05-10 | 2023-06-23 | 厦门农芯数字科技有限公司 | Sow health monitoring method, system and storage medium based on big data |
| KR102623523B1 (en) * | 2023-07-31 | 2024-01-10 | (주)온오퍼 | Method, device and system for diagnosing the health condition of companion animals using a special kit and automatically generating nutritional recipes for companion animals based on the diagnosis |
| KR102657668B1 (en) * | 2023-06-21 | 2024-04-17 | 한국환경연구원 | Method and system for automatically detecting and classifying mammal in environmental impact assessment based on fecal and footprint learning |
| KR20240057753A (en) | 2022-10-25 | 2024-05-03 | 강희원 | System for analyzing health status of pet using stool image |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200119135A (en) | 2019-04-09 | 2020-10-19 | 주식회사 큐라코 | Method of determining excrement information using neural network and system for the same |
| KR20200141776A (en) | 2019-06-11 | 2020-12-21 | 김민후 | Method and apparatus for managing a health of infant using excrement image |
| US20210035289A1 (en) * | 2019-07-31 | 2021-02-04 | Dig Labs Corporation | Animal health assessment |
| US20210151137A1 (en) * | 2019-07-31 | 2021-05-20 | Dig Labs Corporation | Mucus analysis for animal health assessments |
| KR20210088940A (en) * | 2020-01-07 | 2021-07-15 | 주식회사 애니멀고 | Apparatus for running application for discrimination of animal information, server and application management system including them |
-
2021
- 2021-08-03 KR KR1020210101843A patent/KR102330858B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200119135A (en) | 2019-04-09 | 2020-10-19 | 주식회사 큐라코 | Method of determining excrement information using neural network and system for the same |
| KR20200141776A (en) | 2019-06-11 | 2020-12-21 | 김민후 | Method and apparatus for managing a health of infant using excrement image |
| US20210035289A1 (en) * | 2019-07-31 | 2021-02-04 | Dig Labs Corporation | Animal health assessment |
| US20210151137A1 (en) * | 2019-07-31 | 2021-05-20 | Dig Labs Corporation | Mucus analysis for animal health assessments |
| KR20210088940A (en) * | 2020-01-07 | 2021-07-15 | 주식회사 애니멀고 | Apparatus for running application for discrimination of animal information, server and application management system including them |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102524375B1 (en) | 2022-04-01 | 2023-04-21 | (주)정보와생각 | System and method for inspecting pet excreta |
| KR20240057753A (en) | 2022-10-25 | 2024-05-03 | 강희원 | System for analyzing health status of pet using stool image |
| CN116267695A (en) * | 2023-05-10 | 2023-06-23 | 厦门农芯数字科技有限公司 | Sow health monitoring method, system and storage medium based on big data |
| CN116267695B (en) * | 2023-05-10 | 2023-08-15 | 厦门农芯数字科技有限公司 | Sow health monitoring method, system and storage medium based on big data |
| KR102657668B1 (en) * | 2023-06-21 | 2024-04-17 | 한국환경연구원 | Method and system for automatically detecting and classifying mammal in environmental impact assessment based on fecal and footprint learning |
| KR102623523B1 (en) * | 2023-07-31 | 2024-01-10 | (주)온오퍼 | Method, device and system for diagnosing the health condition of companion animals using a special kit and automatically generating nutritional recipes for companion animals based on the diagnosis |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102330858B1 (en) | Method, apparatus, and system for providing information on analysis of pet stool status using stool sheet stool images | |
| US20190043193A1 (en) | Systems and Methods Using Weighted-Ensemble Supervised-Learning for Automatic Detection of Retinal Disease from Tomograms | |
| US20200211706A1 (en) | Intelligent traditional chinese medicine diagnosis method, system and traditional chinese medicine system | |
| KR102045741B1 (en) | Device, method and program for providing the health care data of companion animal | |
| EP4104104A1 (en) | Generative digital twin of complex systems | |
| KR102494264B1 (en) | Method, apparatus and system for providing baby health diagnosis solution by using diaperstool image | |
| CN113924579A (en) | Integrated neural network for determining protocol configuration | |
| JP2023553111A (en) | System and method for evaluating radiology images of pets | |
| EP4260230A1 (en) | Systems and methods for classifying pet information | |
| KR102564996B1 (en) | Method, device and system for providing user customized health functional food curation service based on artificial intelligence | |
| KR102288151B1 (en) | Method, apparatus and system for providing nutritional information based on fecal image analysis | |
| KR102447046B1 (en) | Method, device and system for designing clinical trial protocol based on artificial intelligence | |
| KR102330859B1 (en) | Method, apparatus and system for providing pet fecal image analysis information | |
| KR102656184B1 (en) | Server and method for providing infomration for companion animal care | |
| KR102593868B1 (en) | Methods and systems for providing nail and toenail care information and operating expert matching platform services | |
| KR102603914B1 (en) | Method, apparatus and system for providing of yoga exercise guide and curriculum using user-costomized anatomy based on image analysis | |
| KR102520383B1 (en) | Apparatus, method and system for managing and processing artificial intelligence-based hospital care and prescription information | |
| KR102615747B1 (en) | Method, device and system for providing food calorie estimation and user customized body change information visualization service using artificial intelligence model | |
| CN114449701B (en) | Light type regulation and control method and device based on medical record information and electronic equipment | |
| EP3992986A1 (en) | Cloud-based diagnostic system for providing an assessment of a health status | |
| Casella | Machine-Learning-Powered Cyber-Physical Systems | |
| Thilakarathne et al. | Dogodo: IoT Based Mobile Application to Provide Essential Health Services to Dogs | |
| KR20220097033A (en) | Defecation pad with color code attached | |
| KR20240078709A (en) | Method for Predicting Type 2 Diabetes based on Bigdata | |
| KR20230019553A (en) | Electronic apparatus and method for providing home appliance repair services, and program stored in computer readable medium performing the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |