KR102376188B1

KR102376188B1 - Method and System for Feature Information Selection for Classification of Lung Sounds using Deep-Learning

Info

Publication number: KR102376188B1
Application number: KR1020210179467A
Authority: KR
Inventors: 배진희; 임준식; 왕보현
Original assignee: 가천대학교 산학협력단
Priority date: 2021-12-15
Filing date: 2021-12-15
Publication date: 2022-03-17

Abstract

The present invention relates to a method and system for selecting the feature information for deep learning-based breathing sound classification. More specifically, the present invention relates to the method and system for selecting the feature information for deep learning-based breathing sound classification, wherein by extracting the optimal feature information based on a tree algorithm and an ant colony optimization for the feature information of a breathing sound that can be derived from a deep learning-based inference model, the present invention enables to derive a model that can accurately and efficiently classify the breathing sound. The method for selecting the feature information for deep learning-based breathing sound classification comprises: a conversion step; an input step; a learning feature information derivation step; and a first selection information derivation step.

Description

딥러닝 기반의 호흡음 분류를 위한 피쳐정보 선택방법 및 시스템 {Method and System for Feature Information Selection for Classification of Lung Sounds using Deep-Learning}{Method and System for Feature Information Selection for Classification of Lung Sounds using Deep-Learning}

본 발명은 딥러닝 기반의 호흡음 분류를 위한 피쳐정보 선택방법 및 시스템에 관한 것으로서, 더욱 상세하게는, 딥러닝 기반의 추론 모델에서 도출될 수 있는 호흡음의 특징정보에 대하여 트리 알고리즘과 개미군집 최적화에 기반하여 최적의 특징정보를 추출함으로써, 호흡음 분류를 정확하고 효율적을 할 수 있는 모델을 도출할 수 있는, 딥러닝 기반의 호흡음 분류를 위한 피쳐정보 선택방법 및 시스템에 관한 것이다.The present invention relates to a method and system for selecting feature information for classification of respiratory sounds based on deep learning, and more particularly, a tree algorithm and an ant colony for feature information of respiratory sounds that can be derived from a deep learning-based inference model. To a method and system for selecting feature information for deep learning-based respiratory sound classification, which can derive a model that can accurately and efficiently classify respiratory sounds by extracting optimal feature information based on optimization.

폐음(肺音, lung sounds)은 호흡에 의해 기관지와 폐로 유입 및 배출되는 공기가 만들어내는 소리로서 폐를 청진할 때, 의사는 청진기로 이 소리들을 듣게 되며, 폐의 상태에 대한 여러 중요한 정보를 제공하게 된다.Lung sounds (肺音, lung sounds) are sounds made by air entering and exiting the bronchi and lungs by breathing. When auscultating the lungs, doctors hear these sounds with a stethoscope, will provide

폐음은 크게 호흡음(Breath sound)과 부잡음(Adventitious sound)로 구분할 수 있다. 사람의 호흡에 의한 호흡음이 들리고 추가적으로 부잡음이 들리는 형태로 나타나게 된다.Lung sounds can be largely divided into breath sounds and adventitious sounds. It appears in the form of a breathing sound caused by a person's breathing and additional noise.

호흡음에는 폐포호흡음(Vesicular breath sound)와 기관지호흡음(Bronchial tubular sound)로 나눌 수 있다.Respiratory sounds can be divided into alveolar breath sounds and bronchial tubular sounds.

폐포호흡음은 정상적인 경우에 들리고, 약한 바람소리와 같이 들리며 흡기 시에 소리가 크게 들린다. 이와 같은 폐포호흡음이 감소하는 경우는 중심기도와 흉벽 사이에 소리 전도를 막는 물질이 있는 경우로서, 흉수(Pleural effusion), 기흉(Pneumothorax), 및 공기집(Bulla)이 그 예이다.Alveolar breathing sounds are normally audible, and sound like a weak wind noise, and a loud sound is heard during inspiration. A case in which the alveolar respiration sound is reduced is when there is a material that blocks sound conduction between the central airway and the chest wall, and examples are pleural effusion, pneumothorax, and bulla.

기관지호흡음은 크고 높은 음조를 가지며 휘파람 같은 소리로 들리며 호기와 흡기가 거의 같이 들린다. 이와 같은 기관지호흡음은 폐렴, 폐부종, 폐출혈 등과 같은 폐실질의 경화성 병변(Consolidation)을 보이는 경우 비정상적으로 들리게 된다.The bronchial breath sounds are loud and high-pitched, whistling, and exhalation and inspiration almost identical. Such bronchial breathing sounds are abnormally heard when consolidation of the lung parenchyma such as pneumonia, pulmonary edema, or pulmonary hemorrhage is observed.

한편 부잡음에는 수포음(Crackle), 쌕쌕거림(Wheeze), 그렁거림(Stridor), 빽빽거림(Rhonchus), 흉막마찰음(Pleural friction rub) 등이 있다. 이 중 수포음과 흉막마찰음은 연속되지 않는 소리이고, 쌕쌕거림과 그렁거림은 연속되는 소리로 나타난다.On the other hand, minor noises include crackle, wheeze, stridor, rhonchus, and pleural friction rub. Among them, the crackling sound and the pleural friction sound are non-continuous sounds, and the wheezing and grunting sound appear as continuous sounds.

수포음은 크게 미세 수포음(Fine crackle)과 거친 수포음(Coarse crackle)이 있고, 미세 수포음은 비교적 소리가 부드럽고 짧으며 음조가 약간 더 높고 이는 막혀있던 작은 기도가 열리면서 나는 소리이다. 주로 아래쪽에서 들리지만 자세를 바꾸면 사라질 수 있고, 이는 폐가 굳어지는 폐 섬유화증 등의 질환에서 나타난다. 거친 수포음은 미세 수포음에 비해 더 거칠고 크게 들리며 낮은 음조를 보인다. 이는 기도 분비물에 의한 것으로 만성폐쇄성폐질환(COPD), 폐렴(Pneumonia), 울혈성심부전(Congestive heart failure) 등에서 나타날 수 있다.There are two major types of crackle, fine crackle and coarse crackle. Fine crackle is a relatively soft and short sound, with a slightly higher pitch, and is a sound produced by opening a small airway that has been blocked. It is mainly heard from the bottom, but it can disappear when you change your posture, which is seen in diseases such as pulmonary fibrosis, in which the lungs become stiff. Rough crackles are louder, louder, and have a lower pitch than fine crackles. It is caused by airway secretions and can appear in chronic obstructive pulmonary disease (COPD), pneumonia, and congestive heart failure.

쌕쌕거림은 0.25초 이상의 연속적이고 긴 소리이며 높은 음조를 가진 휘파람이나 피리소리 같은 소리로 나타나고 공기가 좁아진 기도를 빠르게 지나가면서 발생한다. 흡기보다 호기 시에 잘 들리는 특징이 있다. 국소적인 기관지 협착(Bronchial narrowing), 폐암, 기관지 결핵, 이물질, 기관협착 등에서 단일 음조로 나타나고, 천식, 만성폐쇄성폐질환, 울혈성심부전 등에서 다양한 음조로 나타난다.A wheezing is a continuous, long sound of 0.25 seconds or more, a high-pitched whistle or flute-like sound, and occurs as air rapidly passes through a narrowed airway. It is characterized by better hearing during exhalation than inspiration. It appears in a single tone in focal bronchial narrowing, lung cancer, bronchial tuberculosis, foreign bodies, and tracheal stenosis, and appears in various tones in asthma, chronic obstructive pulmonary disease, and congestive heart failure.

빽빽거림은 거칠고 코고는 소리 같은 가르랑거리는 소리로 나타나고 이는 근위부 하기도에 점액 분비물이 걸려있다가 공기가 통과하면서 나는 진동에 의해 발생한다. 이는 기도분비물 배출이 많은 경우 나타난다.The compaction appears as a rough, snoring-like rattle, caused by vibrations from the passage of air from mucus in the proximal respiratory tract. This occurs when there is a lot of airway secretions.

흉막마찰음은 머리카락을 서로 마찰시킬 때 발생하는 소리와 유사하며 벽측 흉막과 장측 흉막이 서로 마찰하면서 발생한다. 즉, 흉막 염증, 흉막 종양 등 흉막에 문제가 있는 경우 발생하게 된다.The pleural friction sound is similar to the sound produced when hair rubs against each other, and is generated when the parietal pleura and the long pleura rub against each other. That is, it occurs when there is a problem with the pleura, such as pleural inflammation or pleural tumor.

종래에는 이와 같이 폐음에 포함된 부잡음을 검출하기 위하여 의사가 청진기 등을 이용하여 진단하는 방법이 사용되었으나, 폐의 청진을 통한 진단은 전문지식을 가진 의사에 의해서만 가능한 단점이 있다. 따라서 자동으로 폐음을 분석함으로써 폐의 상태를 진단하기 위한 기술의 개발의 필요성이 대두되고 있다.Conventionally, a method for a doctor to diagnose using a stethoscope or the like has been used to detect the sub-noise contained in the lung sound. Therefore, there is a need to develop a technology for diagnosing the condition of the lungs by automatically analyzing the lung sounds.

본 발명의 출원인의 선행특허 1(한국등록특허 10-2186157)은 뉴로-퍼지 네트워크 기반 폐음 분석 방법 및 시스템에 관한 것으로서, 더욱 상세하게는 폐음 데이터를 시간-주파수의 폐음 2차원 데이터로 변환하여 폐음특징데이터를 추출하고, 선별된 폐음특징데이터를 뉴로-퍼지네트워크에 기초하여 분석함으로써 폐음 데이터를 분석하는 뉴로-퍼지 네트워크 기반 폐음 분석 방법 및 시스템을 개시하고 있다.Prior Patent 1 (Korean Patent No. 10-2186157) of the applicant of the present invention relates to a neuro-fuzzy network-based lung sound analysis method and system, and more specifically, lung sound data by converting lung sound data into time-frequency two-dimensional lung sound data. Disclosed is a neuro-fuzzy network-based lung sound analysis method and system for analyzing lung sound data by extracting feature data and analyzing the selected lung sound feature data based on the neuro-fuzzy network.

그러나, 이와 같은 선행특허 1은 특징정보 추출에 있어서 피어슨 상관계수에 기반한 통계적 방법을 사용하기 때문에, 딥러닝 모델 및 추론에서의 동적, 다변수 특성을 고려하여, 높은 효율로 폐음을 분석할 수 있는 시스템을 구축하기는 어렵다는 문제점이 있다.However, since this prior patent 1 uses a statistical method based on the Pearson correlation coefficient in extracting feature information, considering the dynamic and multivariate characteristics in deep learning models and inferences, it is possible to analyze lung sounds with high efficiency. There is a problem in that it is difficult to build a system.

본 발명은 딥러닝 기반의 추론 모델에서 도출될 수 있는 호흡음의 특징정보에 대하여 트리 알고리즘과 개미군집 최적화에 기반하여 최적의 특징정보를 추출함으로써, 호흡음 분류를 정확하고 효율적을 할 수 있는 모델을 도출할 수 있는, 딥러닝 기반의 호흡음 분류를 위한 피쳐정보 선택방법 및 시스템을 제공하는 것을 그 목적으로 한다.The present invention is a model that can accurately and efficiently classify breathing sounds by extracting optimal characteristic information based on a tree algorithm and ant colony optimization for characteristic information of respiratory sounds that can be derived from deep learning-based inference models. It aims to provide a feature information selection method and system for deep learning-based breathing sound classification that can derive

상기와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에서는, 1 이상의 프로세서 및 메모리를 포함하는 컴퓨팅 시스템에서 수행되는 호흡음 분류를 위한 피쳐정보 선택방법으로서, 2 이상의 호흡음 종류로 라벨링된 복수의 사운드데이터 각각을 멜스펙트로그램으로 변환하는 변환단계; 입력된 멜스팩트로그램으로부터 상기 2 이상의 호흡음 종류를 추론할 수 있는 기학습된 제1추론모델에 변환된 복수의 상기 멜스펙트토그램을 입력하는 입력단계; 상기 제1추론모델에서의 중간결과값을 1차원으로 플래턴닝(Flattening) 하여, 복수의 종류의 세부피쳐정보를 포함하는 학습피쳐정보를, 각각의 멜스펙트로그램에 대하여 도출하는 학습피쳐정보도출단계; 및 상기 세부피쳐정보의 종류 전체를 최상위노드로 하고, 하위 노드는 상응하는 상위 노드의 세부피쳐정보의 종류 중 일부를 가지도록 설정되는 트리구조에서, 입력된 정보로부터 상기 2 이상의 호흡음 종류를 추론할 수 있는 제2추론모델을 각각의 노드에서 설정된 세부피쳐정보만으로 학습시킨 후에, 학습된 제2추론모델을 시뮬레이션하여 도출된 추론정확도를 도출하고, 가장 높은 추론정확도를 갖는 노드에 할당된 세부피쳐정보의 종류를 포함하는 제1선택정보를 도출하는 제1선택정보도출단계;를 포함하는, 호흡음 분류를 위한 피쳐정보 선택방법을 제공한다.In order to solve the above problems, in one embodiment of the present invention, as a feature information selection method for respiratory sound classification performed in a computing system including one or more processors and memory, a plurality of A conversion step of converting each of the sound data into a mel spectrogram; an input step of inputting a plurality of converted melspectograms into a pre-learned first inference model capable of inferring the two or more types of respiratory sounds from the input melspectrogram; Learning feature information derivation step of deriving learning feature information including a plurality of types of detailed feature information for each mel spectrogram by flattening the intermediate result value in the first inference model in one dimension ; and inferring the two or more types of respiratory sounds from the input information in a tree structure in which the entire type of detailed feature information is the highest node, and the lower node has some of the types of detailed feature information of the corresponding upper node. After learning the second inference model that can be done only with detailed feature information set in each node, the inference accuracy derived by simulating the learned second inference model is derived, and detailed features assigned to the node with the highest inference accuracy. It provides a method for selecting feature information for classification of respiratory sounds, including; a first selection information derivation step of deriving first selection information including a type of information.

본 발명의 몇 실시예에서는, 각각의 상기 학습피쳐정보는 N개의 종류의 세부피쳐정보를 포함하고 있고, 상기 제1선택정보도출단계는, 상기 N개의 세부피쳐정보의 종류가 모두 할당된 단일의 최상위노드를 생성하는 최상위노드처리단계; 및 1차하위노드처리단계를 포함하고, 상기 1차하위노드처리단계는, 기설정된 I개의 1차하위노드를 상기 최상위노드의 하위에 생성하되, 각각의 1차하위노드는 상기 N개 보다 작은 개수의 세부피쳐정보의 종류가 무작위로 할당되는 1차하위노드생성단계; 상기 1차하위노드 중 일부 혹은 전체에 대하여 탐색을 할 기설정된 개수의 1차탐색1차하위노드를 결정하는 1차탐색1차하위노드결정단계; 각각의 상기 1차탐색1차하위노드에 할당된 세부피쳐정보의 종류만을 포함하는 학습피쳐정보로 상기 제2추론모델을 학습하고, 학습된 제2추론모델에 대해, 상기 세부피쳐정보의 종류만을 포함하는 학습피쳐정보를 통하여 시뮬레이션을 하여, 각각의 상기 1차탐색1차하위노드의 추론정확도를 산출하는 1차추론정확도산출단계; 및 탐색된 하위노드 중 가장 높은 추론정확도를 갖는 하위노드를 1차핵심하위노드로 설정하는 1차핵심하위노드설정단계;를 포함할 수 있다.In some embodiments of the present invention, each of the learning feature information includes N types of detailed feature information, and the first selection information derivation step includes a single single piece to which all the N types of detailed feature information are allocated. a top-level node processing step of generating a top-level node; and a primary sub-node processing step, wherein the primary sub-node processing step creates I preset primary sub-nodes below the highest node, wherein each primary sub-node is smaller than the N number. a first sub-node creation step in which the number of types of detailed feature information is randomly assigned; a first search primary sub-node determining step of determining a preset number of primary search primary sub-nodes to be searched for some or all of the primary sub-nodes; The second inference model is learned with learning feature information including only the type of detailed feature information allocated to each of the primary search primary sub-nodes, and for the learned second inference model, only the type of detailed feature information a first inference accuracy calculation step of calculating the inference accuracy of each of the first search first sub-nodes by performing a simulation through the included learning feature information; and a first core sub-node setting step of setting a sub-node having the highest inference accuracy among the found sub-nodes as the first core sub-node.

본 발명의 몇 실시예에서는, 상기 1차탐색1차하위노드결정단계는, 상기 I개의 1차하위노드에 대하여, 각각의 노드별로 동일한 확률로서 난수를 발생시켜, I개 이하의 개수의 1차하위노드를 1차탐색1차하위노드로 결정할 수 있다.In some embodiments of the present invention, the first search primary sub-node determining step generates random numbers with the same probability for each of the I primary sub-nodes, so that the number of primary sub-nodes of I or less is generated. A child node can be determined as a primary search primary child node.

본 발명의 몇 실시예에서는, 상기 1차하위노드처리단계는, 상기 1차탐색1차하위노드 중 상기 최상위노드보다 추론정확도가 낮은 1차탐색1차하위노드를 제거하는 1차하위노드제거단계를 더 포함할 수 있다.In some embodiments of the present invention, the first sub-node processing step is a first sub-node removal step of removing a primary search primary sub-node having lower inference accuracy than the highest node among the first search primary sub-nodes. may further include.

본 발명의 몇 실시예에서는, 상기 제1선택정보도출단계는, 2차하위노드처리단계를 더 포함하고, 상기 2차하위노드처리단계는, 기설정된 개수의 2차하위노드를 상기 1차탐색1차하위노드의 하위에 생성하되, 각각의 2차하위노드는 해당하는 상위 1치탐색1차하위노드보다 작은 개수의 세부피쳐정보의 종류가 무작위로 할당되는 2차하위노드생성단계; 상기 1차하위노드 중 일부 혹은 전체에 대하여 탐색을 할 기설정된 개수의 2차탐색1차하위노드를 결정하는 2차탐색1차하위노드결정단계; 상기 2차탐색1차하위노드의 하위에 위치하는 2차하위노드 중 일부 혹은 전체에 대하여 탐색을 할 기설정된 개수의 2차탐색2차하위노드를 결정하는 2차탐색2차하위노드결정단계; 각각의 상기 2차탐색2차하위노드에 할당된 세부피쳐정보의 종류만을 포함하는 학습피쳐정보로 상기 제2추론모델을 학습하고, 학습된 제2추론모델에 대해, 상기 세부피쳐정보의 종류만을 포함하는 학습피쳐정보를 통하여 시뮬레이션을 하여, 각각의 상기 2차탐색2차하위노드의 추론정확도를 산출하는 2차추론정확도산출단계; 및 상기 하위노드 중 가장 높은 추론정확도를 갖는 하위노드를 2차핵심하위노드로 설정하는 2차핵심하위노드설정단계;를 포함할 수 있다.In some embodiments of the present invention, the step of deriving the first selection information further includes a step of processing secondary sub-nodes, and the processing of the secondary sub-nodes includes the first searching for a preset number of secondary sub-nodes. a secondary sub-node creation step in which a number of types of detailed feature information less than that of the corresponding upper 1-value search primary sub-node is randomly assigned to each secondary sub-node; a secondary search primary sub-node determining step of determining a preset number of secondary search primary sub-nodes to be searched for some or all of the primary sub-nodes; a secondary search secondary sub-node determining step of determining a preset number of secondary search secondary sub-nodes to be searched for some or all of the secondary sub-nodes located below the secondary search primary sub-node; The second inference model is learned with learning feature information including only the type of detailed feature information allocated to each of the secondary search secondary sub-nodes, and for the learned second inference model, only the type of detailed feature information a secondary inference accuracy calculation step of calculating the inference accuracy of each of the secondary search secondary sub-nodes by performing a simulation through the included learning feature information; and a secondary core sub-node setting step of setting a sub-node having the highest inference accuracy among the sub-nodes as a secondary core sub-node.

본 발명의 몇 실시예에서는, 상기 2차탐색1차하위노드결정단계는, 상기 1차탐색1차하위노드 각각에 대하여, 하기의 식1에 의하여 결정되는 선택확률정보를 반영하여 I개의 시행횟수를 적용하여, 2차탐색1차하위노드를 결정할 수 있다.In some embodiments of the present invention, in the determining of the secondary search primary sub-node, I number of trials by reflecting the selection probability information determined by Equation 1 below for each of the primary search primary sub-nodes can be applied to determine the secondary search primary subnode.

선택확률정보 = 해당 하위노드의 추론정확도 + (기설정된 상수/해당 하위노드의 세부피쳐정보의 종류의 개수)Selection probability information = inference accuracy of the corresponding sub-node + (pre-set constant/number of types of detailed feature information of the sub-node)

본 발명의 몇 실시예에서는, 상기 2차하위노드처리단계는, 상기 2차탐색2차하위노드 중 상기 최상위노드보다 추론정확도가 낮은 2차탐색2차하위노드를 제거하는 2차하위노드제거단계를 더 포함할 수 있다.In some embodiments of the present invention, the secondary sub-node processing step includes: a secondary sub-node removal step of removing a secondary search secondary sub-node having lower inference accuracy than the highest node among the secondary search secondary sub-nodes may further include.

본 발명의 몇 실시예에서는, 상기 제1선택정보도출단계는, 1차하위노드처리단계 내지 Q차하위노드처리단계를 포함하고, 각각의 P차하위노드처리단계에서는 2차하위노드에서 P-1차하위노드에 대하여, 해당 하위노드가 탐색하위노드로 선택될 확률은 하기의 선택확률정보를 반영하여 결정될 수 있다.In some embodiments of the present invention, the first selection information derivation step includes a first sub-node processing step to a Q-order sub-node processing step, and in each P-order sub-node processing step, the P- With respect to the primary sub-node, the probability that the corresponding sub-node is selected as the search sub-node may be determined by reflecting the following selection probability information.

본 발명의 몇 실시예에서는, 상기 제1선택정보도출단계는, 1차하위노드처리단계 내지 Q차하위노드처리단계를 포함하고, 각각의 P차하위노드처리단계에서는 1차하위노드에서 P-2차하위노드에 대하여, 해당 하위노드의 상위 혹은 하위에 가장 높은 추론정확도를 갖는 하위노드가 존재하는 경우에, 해당 하위노드가 탐색하위노드로 선택될 확률은 하기의 선택확률정보를 반영하여 결정될 수 있다.In some embodiments of the present invention, the first selection information derivation step includes a first sub-node processing step to a Q-order sub-node processing step, and in each P-order sub-node processing step, the P- With respect to the secondary child node, if a lower node with the highest inference accuracy exists above or below the lower node, the probability that the lower node will be selected as a search child node will be determined by reflecting the following selection probability information. can

선택확률정보 = 해당 하위노드의 추론정확도 + (기설정된 상수/해당 하위노드의 세부피쳐정보의 종류의 개수) + 변수1*변수2*변수3Selection probability information = inference accuracy of the corresponding sub-node + (preset constant/number of types of detailed feature information of the sub-node) + Variable 1 * Variable 2 * Variable 3

(여기서, 변수 1은 P-1차하위노드처리단계에서의 해당 하위노드의 탐색횟수, 변수2는 해당 하위노드에서의 '기설정된 상수/해당 하위노드의 세부피쳐정보의 종류의 개수', 변수3은 0 내지 1 사이의 기설정된 확산상수)(Here, variable 1 is the number of searches of the corresponding sub-node in the P-1st sub-node processing step, variable 2 is the 'set constant/number of types of detailed feature information of the sub-node' in the corresponding sub-node, variable 3 is a preset diffusion constant between 0 and 1)

본 발명의 몇 실시예에서는, 상기 제1선택정보도출단계는, 1차하위노드처리단계 내지 Q차하위노드처리단계를 포함하고, 각각의 P차하위노드처리단계에서는 1차하위노드에서 P-2차하위노드에 대하여, 해당 하위노드의 상위 혹은 하위에 가장 높은 추론정확도를 갖는 하위노드가 존재하지 않는 경우에, 해당 하위노드가 탐색하위노드로 선택될 확률은 하기의 선택확률정보를 반영하여 결정될 수 있다.In some embodiments of the present invention, the first selection information derivation step includes a first sub-node processing step to a Q-order sub-node processing step, and in each P-order sub-node processing step, the P- With respect to the secondary sub-node, if there is no sub-node with the highest inference accuracy above or below the sub-node, the probability that the sub-node will be selected as a search sub-node is determined by reflecting the following selection probability information. can be decided.

선택확률정보 = (1-변수3)*해당 하위노드의 추론정확도 + (기설정된 상수/해당 하위노드의 세부피쳐정보의 종류의 개수) + 변수1*변수2*변수3Selection probability information = (1-variable 3) * inference accuracy of the sub-node + (preset constant/number of types of detailed feature information of the sub-node) + variable 1 * variable 2 * variable 3

상기와 같은 과제를 해결하기 위하여, 본 발명의 실시예에서는, 1 이상의 프로세서 및 메모리를 포함하는 컴퓨팅 시스템으로 구현되는 호흡음 분류를 위한 피쳐정보 선택시스템으로서, 상기 피쳐정보 선택시스템은, 2 이상의 호흡음 종류로 라벨링된 복수의 사운드데이터 각각을 멜스펙트로그램으로 변환하는 변환단계; 입력된 멜스팩트로그램으로부터 상기 2 이상의 호흡음 종류를 추론할 수 있는 기학습된 제1추론모델에 변환된 복수의 상기 멜스펙트토그램을 입력하는 단계; 상기 제1추론모델에서의 중간결과값을 1차원으로 플래턴닝(Flattening) 하여, 복수의 종류의 세부피쳐정보를 포함하는 학습피쳐정보를, 각각의 멜스펙트로그램에 대하여 도출하는 학습피쳐정보도출단계; 및 상기 세부피쳐정보의 종류 전체를 최상위노드로 하고, 하위 노드는 상응하는 상위 노드의 세부피쳐정보의 종류 중 일부를 가지도록 설정되는 트리구조에서, 입력된 정보로부터 상기 2 이상의 호흡음 종류를 추론할 수 있는 제2추론모델을 각각의 노드에서 설정된 세부피쳐정보만으로 학습시킨 후에, 학습된 제2추론모델을 시뮬레이션하여 도출된 추론정확도를 도출하고, 가장 높은 추론정확도를 갖는 노드에 할당된 세부피쳐정보의 종류를 포함하는 제1선택정보를 도출하는 제1선택정보도출단계;를 수행하는, 호흡음 분류를 위한 피쳐정보 선택시스템을 제공한다.In order to solve the above problems, in an embodiment of the present invention, as a feature information selection system for respiratory sound classification implemented by a computing system including one or more processors and a memory, the feature information selection system includes two or more breaths. a conversion step of converting each of a plurality of sound data labeled with a sound type into a mel spectrogram; inputting a plurality of converted melspectograms to a pre-learned first inference model capable of inferring the two or more types of respiratory sounds from the input melspectrogram; Learning feature information derivation step of deriving learning feature information including a plurality of types of detailed feature information for each mel spectrogram by flattening the intermediate result value in the first inference model in one dimension ; and inferring the two or more types of respiratory sounds from the input information in a tree structure in which the entire type of detailed feature information is the highest node, and the lower node has some of the types of detailed feature information of the corresponding upper node. After learning the second inference model that can be done only with detailed feature information set in each node, the inference accuracy derived by simulating the learned second inference model is derived, and detailed features assigned to the node with the highest inference accuracy. A first selection information derivation step of deriving the first selection information including the type of information; provides a feature information selection system for respiratory sound classification.

상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예에서는, 1 이상의 프로세서 및 메모리를 포함하는 컴퓨팅 시스템에서 수행되는 호흡음 분류를 위한 피쳐정보 선택 및 추론모델의 생성방법으로서, 2 이상의 호흡음 종류로 라벨링된 복수의 사운드데이터 각각을 멜스펙트로그램으로 변환하는 변환단계; 입력된 멜스팩트로그램으로부터 상기 2 이상의 호흡음 종류를 추론할 수 있는 기학습된 제1추론모델에 변환된 복수의 상기 멜스펙트토그램을 입력하는 단계; 상기 제1추론모델에서의 중간결과값을 1차원으로 플래턴닝(Flattening) 하여, 복수의 종류의 세부피쳐정보를 포함하는 학습피쳐정보를, 각각의 멜스펙트로그램에 대하여 도출하는 학습피쳐정보도출단계; 상기 세부피쳐정보의 종류 전체를 최상위노드로 하고, 하위 노드는 상응하는 상위 노드의 세부피쳐정보의 종류 중 일부를 가지도록 설정되는 트리구조에서, 입력된 정보로부터 상기 2 이상의 호흡음 종류를 추론할 수 있는 제2추론모델을 각각의 노드에서 설정된 세부피쳐정보만으로 학습시킨 후에, 학습된 제2추론모델을 시뮬레이션하여 도출된 추론정확도를 도출하고, 가장 높은 추론정확도를 갖는 노드에 할당된 세부피쳐정보의 종류를 포함하는 제1선택정보를 도출하는 제1선택정보도출단계; 및 상기 제1선택정보에 따른 세부피쳐정보로 딥러닝추론모델을 학습시키고, 상기 딥러닝추론모델은 상기 제1선택정보에 따른 세부피쳐정보의 종류에 해당하는 입력정보를 입력받아, 상기 2 이상의 호흡음 종류를 출력할 수 있는 모델학습단계;를 포함하는, 피쳐정보 선택 및 추론모델의 생성방법을 제공한다.In order to solve the above problems, in one embodiment of the present invention, there is provided a method of selecting feature information and generating an inference model for respiratory sound classification performed in a computing system including one or more processors and memories, wherein two or more respiratory sounds are performed. a conversion step of converting each of a plurality of sound data labeled with a type into a Melspectrogram; inputting a plurality of converted melspectograms to a pre-learned first inference model capable of inferring the two or more types of respiratory sounds from the input melspectrogram; Learning feature information derivation step of deriving learning feature information including a plurality of types of detailed feature information for each mel spectrogram by flattening the intermediate result value in the first inference model in one dimension ; In a tree structure in which the entire type of detailed feature information is set as the highest node, and the lower node has some of the types of detailed feature information of the corresponding upper node, the two or more types of respiratory sounds can be inferred from the input information. After learning a possible second inference model only with detailed feature information set in each node, simulate the learned second inference model to derive the derived inference accuracy, and detailed feature information assigned to the node with the highest inference accuracy a first selection information deriving step of deriving first selection information including a type of and training a deep learning inference model with detailed feature information according to the first selection information, wherein the deep learning inference model receives input information corresponding to the type of detailed feature information according to the first selection information, and the two or more It provides a method of selecting feature information and generating an inference model, including; a model learning step capable of outputting a breathing sound type.

상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예에서는, 1 이상의 프로세서 및 메모리를 포함하는 컴퓨팅 시스템으로 구현되는 호흡음 분류를 위한 피쳐정보 선택 및 추론모델의 생성장치으로서, 상기 생성장치는, 2 이상의 호흡음 종류로 라벨링된 복수의 사운드데이터 각각을 멜스펙트로그램으로 변환하는 변환단계; 입력된 멜스팩트로그램으로부터 상기 2 이상의 호흡음 종류를 추론할 수 있는 기학습된 제1추론모델에 변환된 복수의 상기 멜스펙트토그램을 입력하는 단계;In order to solve the above problems, in one embodiment of the present invention, as an apparatus for selecting feature information and generating an inference model for respiratory sound classification implemented by a computing system including one or more processors and a memory, the generating apparatus comprises: , a conversion step of converting each of a plurality of sound data labeled with two or more types of breathing sounds into a melspectrogram; inputting a plurality of converted melspectograms to a pre-learned first inference model capable of inferring the two or more types of respiratory sounds from the input melspectrogram;

상기 제1추론모델에서의 중간결과값을 1차원으로 플래턴닝(Flattening) 하여, 복수의 종류의 세부피쳐정보를 포함하는 학습피쳐정보를, 각각의 멜스펙트로그램에 대하여 도출하는 학습피쳐정보도출단계; 상기 세부피쳐정보의 종류 전체를 최상위노드로 하고, 하위 노드는 상응하는 상위 노드의 세부피쳐정보의 종류 중 일부를 가지도록 설정되는 트리구조에서, 입력된 정보로부터 상기 2 이상의 호흡음 종류를 추론할 수 있는 제2추론모델을 각각의 노드에서 설정된 세부피쳐정보만으로 학습시킨 후에, 학습된 제2추론모델을 시뮬레이션하여 도출된 추론정확도를 도출하고, 가장 높은 추론정확도를 갖는 노드에 할당된 세부피쳐정보의 종류를 포함하는 제1선택정보를 도출하는 제1선택정보도출단계; 및 상기 제1선택정보에 따른 세부피쳐정보로 딥러닝추론모델을 학습시키고, 상기 딥러닝추론모델은 상기 제1선택정보에 따른 세부피쳐정보의 종류에 해당하는 입력정보를 입력받아, 상기 2 이상의 호흡음 종류를 출력할 수 있는 모델학습단계;를 수행하는, 호흡음 분류를 위한 피쳐정보 선택 및 추론모델의 생성장치를 제공한다.Learning feature information derivation step of deriving learning feature information including a plurality of types of detailed feature information for each mel spectrogram by flattening the intermediate result value in the first inference model in one dimension ; In a tree structure in which the entire type of detailed feature information is set as the highest node, and the lower node has some of the types of detailed feature information of the corresponding upper node, the two or more types of respiratory sounds can be inferred from the input information. After learning a possible second inference model only with detailed feature information set in each node, simulate the learned second inference model to derive the derived inference accuracy, and detailed feature information assigned to the node with the highest inference accuracy a first selection information deriving step of deriving first selection information including a type of and training a deep learning inference model with detailed feature information according to the first selection information, wherein the deep learning inference model receives input information corresponding to the type of detailed feature information according to the first selection information, and the two or more A model learning step capable of outputting a respiratory sound type; provides an apparatus for selecting feature information for respiratory sound classification and generating an inference model.

도 1은 본 발명의 일 실시예에 따른 호흡음 분류를 위한 피쳐정보의 도출 및 이에 따른 딥러닝 기반 모델의 구축단계를 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 폐음 데이터 및 폐음 2차원 데이터의 일 예를 개략적으로 도시하는 도면이다.
도 3는 본 발명의 일 실시예에 따른 폐음 2차원 데이터인 멜-스펙트로그램의 일 예를 개략적으로 도시하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 호흡음종류로 라벨링된 사운드데이터에 대한 현황을 예시적으로 도시하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 제1추론모델의 세부 레이어를 개략적으로 도시한다.
도 6는 본 발명의 실시예들에 따른 상위노드와 하위노드의 상태값들을 개략적으로 도시한다.
도 7은 본 발명의 일 실시예에 따른 최상위노드와 1차하위노드의 생성과정을 개략적으로 도시한다.
도 8은 본 발명의 일 실시예에 따른 1차탐색1차하위노드의 선택과정을 도시한다.
도 9는 본 발명의 일 실시예에 따른 1차탐색1차하위노드에 대한 추론정확도의 도출 및 이에 따른 1차핵심하위노드의 선정 및 일부의 1차탐색1차하위노드의 삭제 과정에 대하여 개략적으로 도시한다.
도 10은 본 발명의 일 실시예에 따른 각각의 하위노드에 대한 추론정확도를 도출하는 과정을 개략적으로 도시한다.
도 11은 본 발명의 일 실시예에 따른 2차탐색에서 선택된 하위노드들을 예시적으로 도시한다.
도 15는 본 발명의 본 발명의 일 실시예에 따라 예시적으로 각 노드들의 추론정확도가 결정되고 이에 따른 노드들에 대한 처리과정을 도시한다.
도 13은 본 발명의 일 실시예에 따른 각각의 노드에 대한 탐색확률에 대하여 도시한다.
도 14는 본 발명의 일 실시예에 따른 제2선택정보도출단계에 대하여 도시한다.
도 15는 본 발명의 일 실시예에 있어서, 컴퓨팅 장치의 내부 구성의 일례를 설명하기 위한 블록도이다.1 schematically shows a step of deriving feature information for respiratory sound classification and building a deep learning-based model accordingly according to an embodiment of the present invention.
2 is a diagram schematically illustrating an example of lung sound data and two-dimensional lung sound data according to an embodiment of the present invention.
3 is a diagram schematically illustrating an example of a mel-spectrogram that is two-dimensional lung sound data according to an embodiment of the present invention.
4 is a diagram exemplarily showing the status of sound data labeled with a respiratory sound type according to an embodiment of the present invention.
5 schematically illustrates a detailed layer of a first inference model according to an embodiment of the present invention.
6 schematically shows state values of an upper node and a lower node according to embodiments of the present invention.
7 schematically illustrates a process of creating a topmost node and a primary subnode according to an embodiment of the present invention.
8 illustrates a process of selecting a primary search primary sub-node according to an embodiment of the present invention.
9 is a schematic diagram of a process of deriving inference accuracy for a primary search primary sub-node according to an embodiment of the present invention, selecting a primary core sub-node, and deleting some of the primary search primary sub-nodes. shown as
10 schematically illustrates a process of deriving inference accuracy for each sub-node according to an embodiment of the present invention.
11 exemplarily shows sub-nodes selected in the secondary search according to an embodiment of the present invention.
15 is an exemplary diagram illustrating inference accuracy of each node is determined and processing for nodes according to an embodiment of the present invention.
13 illustrates a search probability for each node according to an embodiment of the present invention.
14 illustrates a second selection information derivation step according to an embodiment of the present invention.
15 is a block diagram illustrating an example of an internal configuration of a computing device according to an embodiment of the present invention.

이하에서는, 다양한 실시예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.Hereinafter, various embodiments and/or aspects are disclosed with reference to the drawings. In the following description, for purposes of explanation, numerous specific details are set forth to provide a thorough understanding of one or more aspects. However, it will also be recognized by one of ordinary skill in the art that such aspect(s) may be practiced without these specific details. The following description and accompanying drawings set forth in detail certain illustrative aspects of one or more aspects. These aspects are illustrative, however, and some of various methods may be employed in the principles of the various aspects, and the descriptions set forth are intended to include all such aspects and their equivalents.

또한, 다양한 양상들 및 특징들이 다수의 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있는 시스템에 의하여 제시될 것이다. 다양한 시스템들이, 추가적인 장치들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있다는 점 그리고/또는 도면들과 관련하여 논의된 장치들, 컴포넌트들, 모듈들 등 전부를 포함하지 않을 수도 있다는 점 또한 이해되고 인식되어야 한다.Further, various aspects and features will be presented by a system that may include a number of devices, components and/or modules, and the like. It is also noted that various systems may include additional apparatuses, components, and/or modules, etc. and/or may not include all of the apparatuses, components, modules, etc. discussed with respect to the drawings. must be understood and recognized.

본 명세서에서 사용되는 "실시예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다. 아래에서 사용되는 용어들 '~부', '컴포넌트', '모듈', '시스템', '인터페이스' 등은 일반적으로 컴퓨터 관련 엔티티(computer-related entity)를 의미하며, 예를 들어, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어를 의미할 수 있다.As used herein, “embodiment”, “example”, “aspect”, “exemplary”, etc. may not be construed as an advantage or advantage in any aspect or design being described over other aspects or designs. . The terms '~part', 'component', 'module', 'system', 'interface', etc. used below generally mean a computer-related entity, for example, hardware, hardware A combination of and software may mean software.

또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.Also, the terms "comprises" and/or "comprising" mean that the feature and/or element is present, but excludes the presence or addition of one or more other features, elements, and/or groups thereof. should be understood as not

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Also, terms including an ordinal number, such as first, second, etc., may be used to describe various elements, but the elements are not limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component. and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.

또한, 본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.In addition, in the embodiments of the present invention, unless otherwise defined, all terms used herein, including technical or scientific terms, are generally understood by those of ordinary skill in the art to which the present invention belongs. have the same meaning as Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in an embodiment of the present invention, an ideal or excessively formal meaning is not interpreted as

도 1은 본 발명의 일 실시예에 따른 호흡음 분류를 위한 피쳐정보의 도출 및 이에 따른 딥 러닝 기반 모델의 구축단계를 개략적으로 도시한다.1 schematically shows a step of deriving feature information for respiratory sound classification and building a deep learning-based model accordingly according to an embodiment of the present invention.

본 발명의 호흡음 분류를 위한 피쳐정보 선택방법는 1 이상의 프로세서 및 메모리를 포함하는 컴퓨팅 시스템에서 수행된다.The feature information selection method for respiratory sound classification according to the present invention is performed in a computing system including one or more processors and a memory.

상기 피쳐정보 선택방법은, 2 이상의 호흡음 종류로 라벨링된 복수의 사운드데이터 각각을 멜스펙트로그램으로 변환하는 변환단계(S1000); 입력된 멜스팩트로그램으로부터 상기 2 이상의 호흡음 종류를 추론할 수 있는 기학습된 제1추론모델에 변환된 복수의 상기 멜스펙트토그램을 입력하는 입력단계(S2000); 상기 제1추론모델에서의 중간결과값을 1차원으로 플래턴닝(Flattening) 하여, 복수의 종류의 세부피쳐정보를 포함하는 학습피쳐정보를, 각각의 멜스펙트로그램에 대하여 도출하는 학습피쳐정보도출단계(S3000); 및 상기 세부피쳐정보의 종류 전체를 최상위노드로 하고, 하위 노드는 상응하는 상위 노드의 세부피쳐정보의 종류 중 일부를 가지도록 설정되는 트리구조에서, 입력된 정보로부터 상기 2 이상의 호흡음 종류를 추론할 수 있는 제2추론모델을 각각의 노드에서 설정된 세부피쳐정보만으로 학습시킨 후에, 학습된 제2추론모델을 시뮬레이션하여 도출된 추론정확도를 도출하고, 가장 높은 추론정확도를 갖는 노드에 할당된 세부피쳐정보의 종류를 포함하는 제1선택정보를 도출하는 제1선택정보도출단계(S4000);를 포함한다.The feature information selection method includes a conversion step (S1000) of converting each of a plurality of sound data labeled with two or more types of breathing sounds into a mel spectrogram; an input step (S2000) of inputting a plurality of the converted melspectograms into a pre-learned first inference model capable of inferring the two or more types of respiratory sounds from the input melspectrogram; Learning feature information derivation step of deriving learning feature information including a plurality of types of detailed feature information for each mel spectrogram by flattening the intermediate result value in the first inference model in one dimension (S3000); and inferring the two or more types of respiratory sounds from the input information in a tree structure in which the entire type of detailed feature information is the highest node, and the lower node has some of the types of detailed feature information of the corresponding upper node. After learning the second inference model that can be done only with detailed feature information set in each node, the inference accuracy derived by simulating the learned second inference model is derived, and detailed features assigned to the node with the highest inference accuracy. and a first selection information deriving step (S4000) of deriving the first selection information including the type of information.

본 발명의 일 실시예에서는 단계 S4000에 의하여 결정된 세부피쳐정보를 이용하여, 단계 S6000에서 최종적인 추론모델을 학습한다. 단계 S4000에 의하여 결정된 세부피쳐정보는 폐음의 멜스펙토그램에 대한 딥러닝 기반 추론모델의 중간 결과값 중 추론 정확도가 높은 값들에 해당하고, 이와 같은 값으로만 학습된 최종적인 추론모델은 S2000에서의 Pre-trained 모델에 비하여 높은 정확도를 가질 수 있다.In an embodiment of the present invention, the final inference model is learned in step S6000 by using the detailed feature information determined in step S4000. The detailed feature information determined by step S4000 corresponds to values with high inference accuracy among the intermediate result values of the deep learning-based inference model for the melspectogram of the lung sound, and the final inference model learned only from these values is in S2000. It can have higher accuracy than the pre-trained model of

상기 최종적인 추론모델을 이용하는 일 실시예에서는, 기본적으로 분석하고자 하는 폐음(라벨링이 되어 있지 않음)을 단계 S1000에서와 같이 멜스펙토그램으로 변환한 후에, 이를 S2000에서와 같이 제1추론모델에 입력하여, 다오는 중간 결과값을 취하고, 중간 결과값 중 단계 S4000에서 결정된 세부피쳐정보에 해당하는 중간결과값만을 최종적인 추론모델에 입력하여, 해당 폐음에 대한 진단결과를 확인할 수 있다.In an embodiment using the final inference model, basically, after converting the lung sound (not labeled) to be analyzed into a Melspectogram as in step S1000, it is added to the first inference model as in S2000. By inputting, Dao takes an intermediate result value, and among the intermediate result values, only the intermediate result value corresponding to the detailed feature information determined in step S4000 is input into the final inference model, so that the diagnosis result for the lung sound can be confirmed.

이와 같은 방식으로, 한정된 학습데이터로 S2000의 VGG16의 모델만을 학습하여 이용할 때보다 보다 정확도가 높은 복합모델을 구성할 수 있는 이점이 있다.In this way, there is an advantage in that it is possible to construct a complex model with higher accuracy than when learning and using only the VGG16 model of S2000 with limited training data.

본 발명의 다른 실시예에서는, 단계 S4000에서 추출된 세부피쳐정보의 종류 중 가우시안 거리를 이용하여, 통계적으로 폐음의 종류를 구분할 수 있는 세부피쳐정보의 종류를 추가적으로 필터링하여, 세부피쳐정보에 대한 제2선택정보를 생성한다.In another embodiment of the present invention, by using the Gaussian distance among the types of detailed feature information extracted in step S4000, the types of detailed feature information that can statistically classify the types of lung sounds are additionally filtered, 2 Create optional information.

이와 같은 실시예에서는 제2선택정보에 따른 세부피쳐정보로 S6000에서의 최종적인 추론모델을 학습시킬 수 있다.In such an embodiment, the final inference model in S6000 can be trained with detailed feature information according to the second selection information.

즉, 본 발명의 일 실시예예에서는, 1 이상의 프로세서 및 메모리를 포함하는 컴퓨팅 시스템에서 수행되는 호흡음 분류를 위한 피쳐정보 선택 및 추론모델의 생성방법으로서, 2 이상의 호흡음 종류로 라벨링된 복수의 사운드데이터 각각을 멜스펙트로그램으로 변환하는 변환단계; 입력된 멜스팩트로그램으로부터 상기 2 이상의 호흡음 종류를 추론할 수 있는 기학습된 제1추론모델에 변환된 복수의 상기 멜스펙트토그램을 입력하는 단계; 상기 제1추론모델에서의 중간결과값을 1차원으로 플래턴닝(Flattening) 하여, 복수의 종류의 세부피쳐정보를 포함하는 학습피쳐정보를, 각각의 멜스펙트로그램에 대하여 도출하는 학습피쳐정보도출단계; 상기 세부피쳐정보의 종류 전체를 최상위노드로 하고, 하위 노드는 상응하는 상위 노드의 세부피쳐정보의 종류 중 일부를 가지도록 설정되는 트리구조에서, 입력된 정보로부터 상기 2 이상의 호흡음 종류를 추론할 수 있는 제2추론모델을 각각의 노드에서 설정된 세부피쳐정보만으로 학습시킨 후에, 학습된 제2추론모델을 시뮬레이션하여 도출된 추론정확도를 도출하고, 가장 높은 추론정확도를 갖는 노드에 할당된 세부피쳐정보의 종류를 포함하는 제1선택정보를 도출하는 제1선택정보도출단계; 및 상기 제1선택정보에 따른 세부피쳐정보로 딥러닝추론모델을 학습시키고, 상기 딥러닝추론모델은 상기 제1선택정보에 따른 세부피쳐정보의 종류에 해당하는 입력정보를 입력받아, 상기 2 이상의 호흡음 종류를 출력할 수 있는 모델학습단계;를 포함하는, 피쳐정보 선택 및 추론모델의 생성방법를 제공한다.That is, in an embodiment of the present invention, as a method for selecting feature information for respiratory sound classification and generating an inference model for respiratory sound classification performed in a computing system including one or more processors and memory, a plurality of sounds labeled with two or more types of respiratory sound A conversion step of converting each of the data into a mel spectrogram; inputting a plurality of converted melspectograms to a pre-learned first inference model capable of inferring the two or more types of respiratory sounds from the input melspectrogram; Learning feature information derivation step of deriving learning feature information including a plurality of types of detailed feature information for each mel spectrogram by flattening the intermediate result value in the first inference model in one dimension ; In a tree structure in which the entire type of detailed feature information is set as the highest node, and the lower node has some of the types of detailed feature information of the corresponding upper node, the two or more types of respiratory sounds can be inferred from the input information. After learning a possible second inference model only with detailed feature information set in each node, simulate the learned second inference model to derive the derived inference accuracy, and detailed feature information assigned to the node with the highest inference accuracy a first selection information deriving step of deriving first selection information including a type of and training a deep learning inference model with detailed feature information according to the first selection information, wherein the deep learning inference model receives input information corresponding to the type of detailed feature information according to the first selection information, and the two or more It provides a method of selecting feature information and generating an inference model, including; a model learning step capable of outputting a breathing sound type.

도 2은 본 발명의 일 실시예에 따른 폐음 데이터 및 폐음 2차원 데이터의 일 예를 개략적으로 도시하는 도면이다.2 is a diagram schematically illustrating an example of lung sound data and two-dimensional lung sound data according to an embodiment of the present invention.

도 2의 (a)는 일반적으로 저장되는 소리 데이터의 파형을 나타낸다. 폐음과 같이 소리가 저장된 데이터는 시간에 따른 소리 파형의 진폭에 대한 정보가 저장되고, 이와 같은 정보를 도시하면 도 2의 (a)와 같이 도시될 수 있다.2A shows a waveform of sound data that is generally stored. Information on the amplitude of the sound waveform according to time is stored in data in which sound is stored, such as lung sounds, and when such information is shown, it may be illustrated as shown in FIG. 2A .

다만 이와 같은 진폭 데이터는 소리의 성분을 분석하기 용이하지 않아, 소리의 성분을 분리하여 확인하기 위하여 푸리에 변환을 통한 주파수 성분을 분석하는 방법이 사용되고 있다.However, since such amplitude data is not easy to analyze the sound component, a method of analyzing the frequency component through the Fourier transform is used to separate and confirm the sound component.

도 2의 (b)는 이와 같이 소리 데이터를 푸리에 변환하여 시간에 따른 주파수 성분의 정보를 2차원 데이터로 도시한 모습을 나타낸다. 도 3의 (b)에서와 같이 입력된 소리 데이터는 시간과 주파수의 2차원 그래프로 나타나고, 각 주파수에서의 소리의 세기(dB)는 색상으로 나타나게 된다.FIG. 2B shows a state in which sound data is Fourier-transformed in this way, and information on frequency components according to time is shown as two-dimensional data. As shown in (b) of FIG. 3 , the input sound data is represented as a two-dimensional graph of time and frequency, and the intensity (dB) of the sound at each frequency is represented by a color.

이와 같이 시간-주파수의 2차원 데이터의 경우 소리의 특징을 추출하기 용이하여 분석에 사용되기 적합하다. As described above, in the case of time-frequency two-dimensional data, it is easy to extract sound characteristics, so it is suitable for analysis.

도 3는 본 발명의 일 실시예에 따른 폐음 2차원 데이터인 멜-스펙트로그램의 일 예를 개략적으로 도시하는 도면이다.3 is a diagram schematically illustrating an example of a mel-spectrogram that is two-dimensional lung sound data according to an embodiment of the present invention.

본 발명의 일 실시예에서는, 상기 변환단계(S1000)에서는 입력 받은 상기 폐음 데이터(사운드데이터)를 멜-스펙트로그램으로 변환한다.In an embodiment of the present invention, in the conversion step S1000, the received lung sound data (sound data) is converted into a Mel-spectrogram.

도 3에 도시된 것과 같이 본 발명의 일 실시예에서는 입력 받은 학습 폐음 데이터 혹은 폐음 데이터를 시간-주파수의 폐음 2차원 데이터로 변환할 수 있다. 이 때, 상기 폐음 2차원 데이터는 멜-스펙트로그램일 수 있다. 멜-스펙트로그램은 도 3의 (b)에 도시된 시간-주파수의 스펙트로그램 중 주파수의 단위를 멜 단위(mel unit)로 바꾼 스펙트로그램을 의미한다.As shown in FIG. 3 , in an embodiment of the present invention, the received learning lung sound data or lung sound data may be converted into time-frequency lung sound two-dimensional data. In this case, the two-dimensional lung sound data may be a Mel-spectrogram. The mel-spectrogram refers to a spectrogram in which a frequency unit is changed to a mel unit among the time-frequency spectrograms shown in FIG. 3B .

사람이 음의 음조(pitch)를 인식하게 하는 것은 주로 음의 주파수이다. 1 kHz, 40 dB의 음을 1000 mel로 정의하고, 상대적으로 느껴지는 다른 주파수 음의 음조를 나타내는 단위가 멜 단위이다. 주파수를 멜 단위로 변환하는 방법은 하기 식에 따른다.It is mainly the frequency of a sound that makes a person perceive the pitch of a sound. The sound of 1 kHz and 40 dB is defined as 1000 mel, and the unit representing the pitch of other frequency sounds that are relatively felt is the mel unit. A method of converting a frequency to a mel unit is according to the following formula.

도 3은 상기와 같은 식에 따라 입력 된 폐음 데이터를 멜-스펙트로그램으로 변환 한 모습을 도시하고 있다.3 shows a state in which the input lung sound data is converted into a Mel-spectrogram according to the above equation.

도 4는 본 발명의 일 실시예에 따른 호흡음종류로 라벨링된 사운드데이터에 대한 현황을 예시적으로 도시하는 도면이다.4 is a diagram exemplarily showing the status of sound data labeled with a respiratory sound type according to an embodiment of the present invention.

상기 단계 S1000에서는 학습데이터를 확보한다. 전문가는 도 4에서와 같이 사운드데이터를 예시적으로 도 4에 도시된 4개의 종류로 구분하여 시간구간과 함께 라벨링 할 수 있다. 도 1 및 도 4에 도시된 라벨링의 세부 정보는 다음과 같다.In step S1000, learning data is secured. As shown in FIG. 4 , the expert may classify sound data into four types shown in FIG. 4 , and label them together with a time period. Detailed information of the labeling shown in FIGS. 1 and 4 is as follows.

혹은 본 발명의 다른 실시예에서는 다른 형태로 라벨링 혹은 분류할 수도 있다. 예를들어, NORMAL 과 ABNORMAL (CRACKLE, WHEEZE, MIXED 모두를 포함)으로 구분할 수도 있다.Alternatively, in another embodiment of the present invention, labeling or classification may be performed in another form. For example, it can be divided into NORMAL and ABNORMAL (including all of CRACKLE, WHEEZE, and MIXED).

도 5는 본 발명의 일 실시예에 따른 제1추론모델의 세부 레이어를 개략적으로 도시한다.5 schematically illustrates a detailed layer of a first inference model according to an embodiment of the present invention.

본 발명의 일 실시예에서는 S1000에서 추출된 학습데이터 혹은 다른 라벨링된 폐음 멜스펙토그램에 의하여 기학습된 제1추론모델을 이용한다. 이와 같은 제1추론모델은 입력된 멜스펙토그램 이미지에 대하여, 전술한 CRACKLE, WHEEZE, MIXED, NORMAL 등의 폐음 분류정보를 도출할 수 있는 딥러닝 기반의 모델이다. In an embodiment of the present invention, the first inference model pre-learned by the learning data extracted in S1000 or other labeled lung sound mel spectogram is used. This first inference model is a deep learning-based model that can derive lung sound classification information such as CRACKLE, WHEEZE, MIXED, NORMAL, etc., from the input Melspectogram image.

본 발명의 일 실시예에서는 CNN기반의 VGG16 모델을 이용하였다.In an embodiment of the present invention, a CNN-based VGG16 model was used.

본 발명에서는 제1추론모델의 결과값을 이용하는 것이 아니라, 제1추론모델의 중간결과값을 1차원 벡터로 FLATTEN한 값을 이용한다.In the present invention, instead of using the result value of the first inference model, a value obtained by flattening the intermediate result value of the first inference model as a one-dimensional vector is used.

도 5를 참조하여 설명하면 박스로 표시된 CONV 5-3, POOLING 단계 이후에 나오는 2차원 벡터의 피쳐정보를 1차원 벡터로 FLATTENING 한다.Referring to FIG. 5 , the feature information of the two-dimensional vector that appears after the CONV 5-3 and POOLING steps indicated by boxes is flattened into a one-dimensional vector.

이와 같은 1차원 벡터 전체가 전술한 학습피쳐정보에 해당할 수 있고, 1차원 벡터의 각각의 요소가 세부피쳐정보에 해당할 수 있다.The entire one-dimensional vector may correspond to the above-described learning feature information, and each element of the one-dimensional vector may correspond to detailed feature information.

예를들어, 가장 단순하게 세부피쳐정보가 5종류만 있다고 하고, 라벨링된 5개의 멜스펙트로그램이 사용된다고 하는 경우에는 각각의 멜스펙토그램에 대한 학습피쳐정보는 하기와 같은 방식으로 표현될 수 있다.For example, in the simplest case where there are only five types of detailed feature information and five labeled melt spectrograms are used, the learning feature information for each melt spectogram can be expressed in the following way. there is.

[세부피쳐정보 1, 세부피쳐정보 2, 세부피쳐정보 3, 세부피쳐정보 4, 세부피쳐정보 5], 라벨링데이터(폐음 종류)[Detailed feature information 1, detailed feature information 2, detailed feature information 3, detailed feature information 4, detailed feature information 5], labeling data (type of waste sound)

본 발명에서는 제1선택정보도출단계에서, 세부피쳐정보 1 ~ N(위에서는 5) 중, 폐음을 구분함에 있어서 주요한 역할을 하는 복수의 세부피쳐정보의 종류(예를들어, 세부피쳐정보 1, 3, 5)를 단계 S4000에서 트리서치 방식에 기반하여 찾아내는 것을 주요 기술적 특징으로 한다.In the present invention, in the first selection information derivation step, among the detailed feature information 1 to N (5 above), types of a plurality of detailed feature information that play a major role in classifying a lung sound (eg, detailed feature information 1, The main technical feature is to find 3, 5) based on the tree search method in step S4000.

도 6는 본 발명의 실시예들에 따른 상위노드와 하위노드의 상태값들을 개략적으로 도시한다.6 schematically shows state values of an upper node and a lower node according to embodiments of the present invention.

본 발명에서의 트리의 탐색은 일종의 개미가 노드에 도착하는 경우에, 해당 노드에 상응하는 세부피쳐정보의 종류에 기반하여 학습된 모델에 대한 추론정확도를 도출하고, 도출된 추론정확도에 따라서, 노드를 삭제 혹은 유지 혹은 푸드노드(핵심노드)로 지정하면서, 트리를 서치하는 과정에 해당한다.In the tree search in the present invention, when a kind of ant arrives at a node, the inference accuracy for the learned model is derived based on the type of detailed feature information corresponding to the node, and according to the derived inference accuracy, the node It corresponds to the process of searching the tree while deleting or maintaining or designating it as a food node (core node).

각각의 탐색 차수에서는 기설정된 개수의 탐색 횟수가 확률에 기초하여, 하위 노드를 탐색한다.In each search order, a lower node is searched based on the probability of a preset number of search times.

또한, 하위노드는 상위노드에 할당된 세부피쳐정보의 일부가 할당된다.In addition, a part of the detailed feature information allocated to the upper node is allocated to the lower node.

예를들어, 도 5에서의 FLATTEN을 수행한 중간결과값은 8192개의 실수를 갖는 벡터라고 하는 경우, 도 6에서 최상위 노드에는 8192개의 세부피쳐정보의 종류가 모두 할당되어 있다.For example, if the intermediate result of performing FLATTEN in FIG. 5 is a vector having 8192 real numbers, all 8192 types of detailed feature information are allocated to the highest node in FIG. 6 .

한편, 좌측의 노드의 경우, 최상위노드의 8192개의 세부피쳐정보의 종류 중 무작위(난수발생)에 의하여 8192 개 중 일부의 세부피쳐정보의 종류가 할당된다.On the other hand, in the case of the left node, some types of detailed feature information are allocated among 8192 types of detailed feature information of the highest node by random (random number generation).

예를들어, 도 5에서 추출되는 중간결과값이 [V1, V2, V3, V4, V5]인 경우에, 최상위노드에는 V1, V2, V3, V4, V5의 5개의 종류가 할당되어 있고, 최상위노드의 제1하위노드는 V1, V2, V3가 할당될 수 있고, 제1하위노드의 하위노드인 제2하위노드에는 V1, V2가 할당될 수 있는데, 이와 같은 할당은 난수발생에 기반한 무작위로 결정된다. For example, when the intermediate result value extracted in FIG. 5 is [V1, V2, V3, V4, V5], five types of V1, V2, V3, V4, and V5 are allocated to the highest node, and the highest V1, V2, and V3 may be allocated to the first child node of the node, and V1 and V2 may be allocated to the second child node that is a child node of the first child node. Such allocation is randomly based on random number generation. is decided

도 6의 좌측하위노드는 6000개의 세부피쳐정보의 종류가 할당되고, 우측하위노드는 5000개의 세부피쳐정보의 종류가 할당된 케이스에 해당한다. 이후, 탐색에 의하여 좌측하위노드의 6000개의 세부피쳐정보로 딥러닝 기반의 모델을 학습하여 추론정확도를 계산한 결과가 53%이고, 우측하위노드의 5000개의 세부피쳐정보로 딥러닝 기반의 모델을 학습시켜 추론정확도를 계산한 결고가 55%인 경우에는, 3개의 노드 중 가장 추론정확도가 높은 우측하위노드가 핵심노드로 결정된다.The left lower node of FIG. 6 corresponds to a case in which 6000 types of detailed feature information are allocated, and the right lower node corresponds to a case in which 5000 types of detailed feature information are allocated. After that, the result of calculating the inference accuracy by learning the deep learning-based model with 6000 detailed feature information of the left lower node by search was 53%, and the deep learning-based model was evaluated with 5000 detailed feature information of the right lower node. If the result of calculating inference accuracy by learning is 55%, the right lower node with the highest inference accuracy among the three nodes is determined as the core node.

본 발명에서는 기설정된 개수로 각각의 노드에 대해 하위노드를 생성하고, 하위노드는 상위노드에 할당된 세부피쳐정보의 종류 중 일부가 무작위로 할당된다. 이와 같은 하위노드의 세부피쳐정보의 종류에 따른 학습데이터로 임시적인 추론모델이 학습되고, 이에 대한 추론정확도를 계산하여, 트리의 정보를 채워나가고, 기설정된 차수의 탐색을 수행한 후에, 가장 높은 추론정확도를 갖는 노드의 세부피쳐정보로 최종적인 폐음 분석 모델을 학습시킨다.In the present invention, lower nodes are created for each node in a preset number, and some of the types of detailed feature information assigned to the upper nodes are randomly assigned to the lower nodes. A temporary inference model is learned with the learning data according to the type of detailed feature information of the sub-node, and the inference accuracy is calculated for it, the information of the tree is filled in, and after performing a search of a preset order, the highest The final lung sound analysis model is trained with detailed feature information of nodes with inference accuracy.

도 7은 본 발명의 일 실시예에 따른 최상위노드와 1차하위노드의 생성과정을 개략적으로 도시한다.7 schematically illustrates a process of creating a topmost node and a primary subnode according to an embodiment of the present invention.

전술한 바와 같이, 각각의 상기 학습피쳐정보는 N개의 종류의 세부피쳐정보를 포함하고 있다.As described above, each of the learning feature information includes N types of detailed feature information.

상기 제1선택정보도출단계는, 상기 N개의 세부피쳐정보의 종류가 모두 할당된 단일의 최상위노드를 생성하는 최상위노드처리단계; 및 1차하위노드처리단계를 포함한다.The first selection information derivation step may include: a highest node processing step of generating a single highest node to which all types of the N pieces of detailed feature information are allocated; and a primary sub-node processing step.

1차하위노드처리단계 이후, 2차하위노드처리단계, 3차하위노드처리단계, 4차하위노드처리단계, …, N차하위노드처리단계가 수행될 수 있고, 이와 같은 탐색차수는 설정에 따른다.After the 1st sub-node processing step, the 2nd sub-node processing step, the 3rd sub-node processing step, the 4th sub-node processing step, ... , an Nth-order sub-node processing step may be performed, and such a search order depends on the setting.

도 7에서는 1차하위노드처리단계에 대해서 도시한다. 상응하는 규칙은 2차하위노드처리단계, 3차하위노드처리단계, 4차하위노드처리단계, …, N차하위노드처리단계에도 적용된다.7 shows the primary sub-node processing step. Corresponding rules are 2nd child node processing step, 3rd child node processing step, 4th child node processing step, ... , it is also applied to the Nth sub-node processing step.

도 7에 도시된 바와 같이, 상기 1차하위노드처리단계는, 기설정된 I개의 1차하위노드를 상기 최상위노드의 하위에 생성하되, 각각의 1차하위노드는 상기 N개 보다 작은 개수의 세부피쳐정보의 종류가 무작위로 할당되는 1차하위노드생성단계;를 포함한다.As shown in FIG. 7 , in the primary sub-node processing step, preset I primary sub-nodes are created below the highest node, and each primary sub-node has a number smaller than the N number of details. and a first sub-node creation step in which the type of feature information is randomly assigned.

도 7에서는 I가 5로 설정된 경우이나, 이는 가변될 수 있고, 총 5개의 하위노드가 생성된다. 예를들어 최상위노드가 8192개의 세부피쳐정보의 종류가 할당되었다면, 5개의 하위노드는 각각 무작위적으로 8192개의 세부피쳐정보 중 일부가 할당되고, 할당되는 숫자 및 종류 역시 모두 무작위에 해당한다. 이는 도 6의 설명과 동일하다.In FIG. 7 , I is set to 5, but this may be changed, and a total of 5 sub-nodes are created. For example, if 8192 types of detailed feature information are allocated to the highest node, some of the 8192 pieces of detailed feature information are randomly allocated to each of the 5 lower nodes, and the number and types of the allocated information are also random. This is the same as the description of FIG. 6 .

도 8은 본 발명의 일 실시예에 따른 1차탐색1차하위노드의 선택과정을 도시한다.8 illustrates a process of selecting a primary search primary sub-node according to an embodiment of the present invention.

상기 1차하위노드처리단계는, 상기 1차하위노드 중 일부 혹은 전체에 대하여 탐색을 할 기설정된 개수의 1차탐색1차하위노드를 결정하는 1차탐색1차하위노드결정단계;를 포함한다.The first sub-node processing step includes; .

본 발명에서는 I개의 탐색시도가 주어진다. 도 8에서는 5번의 탐색시도가 주어지고, 5개의 탐색시도는 난수발생에 따른 확률정보에 따라 1차탐색1차하위노드가 결정된다.In the present invention, I search attempts are given. In FIG. 8, five search attempts are given, and the first search first sub-node is determined according to probability information according to random number generation for the five search attempts.

본 발명의 실시예들에서 모든 공통적인 사항은 N차하위노드처리단계에서 신규로 생성되는 하위노드로의 탐색확률은, 상위노드가 동일한 하위노드에 한하여 모두 동일하다는 것이다.The common point in the embodiments of the present invention is that the search probabilities of the lower nodes newly created in the Nth lower node processing step are the same only for the lower nodes with the same upper node.

이와 같은 규칙을 적용하면, 상기 1차탐색1차하위노드결정단계는, 상기 I개의 1차하위노드에 대하여, 각각의 노드별로 동일한 확률로서 난수를 발생시켜, I개 이하의 개수의 1차하위노드를 1차탐색1차하위노드로 결정한다.When such a rule is applied, the first search primary sub-node determination step generates a random number with the same probability for each of the I primary sub-nodes, and the number of primary sub-nodes of I or less The node is determined as the primary search primary child node.

도 8에서는 N1-1, N1-2, N1-3에 각각 1번의 탐색이 이루어지고, N1-5에는 2번의 탐색이 이루어지는 것으로 1차탐색1차하위노드이 결정된다. In FIG. 8 , one search is performed for each of N1-1, N1-2, and N1-3, and two searches are performed for N1-5, so that the primary search primary subnode is determined.

선택되지 않은 N1-4는 추론정확도가 계산되지도 않고, 이는 다음 단계에서 제거된다.For unselected N1-4, the inference accuracy is not calculated, and it is removed in the next step.

도 9는 본 발명의 일 실시예에 따른 1차탐색1차하위노드에 대한 추론정확도의 도출 및 이에 따른 1차핵심하위노드의 선정 및 일부의 1차탐색1차하위노드의 삭제 과정에 대하여 개략적으로 도시한다.9 is a schematic diagram of a process of deriving inference accuracy for a primary search primary sub-node according to an embodiment of the present invention, selecting a primary core sub-node and deleting some of the primary search primary sub-nodes. shown as

도 8의 단계 이후, 각각의 상기 1차탐색1차하위노드에 할당된 세부피쳐정보의 종류만을 포함하는 학습피쳐정보로 상기 제2추론모델을 학습하고, 학습된 제2추론모델에 대해, 상기 세부피쳐정보의 종류만을 포함하는 학습피쳐정보를 통하여 시뮬레이션을 하여, 각각의 상기 1차탐색1차하위노드의 추론정확도를 산출하는 1차추론정확도산출단계;가 수행된다.After the step of FIG. 8, the second inference model is learned with the learning feature information including only the type of detailed feature information assigned to each of the first search primary sub-nodes, and for the learned second inference model, the A first inference accuracy calculation step of calculating the inference accuracy of each of the first search first sub-nodes by performing a simulation through the learning feature information including only the types of detailed feature information; is performed.

즉, 학습피쳐정보 중 N1-1, N1-2, N1-3, N1-5 각각에 할당된 세부피쳐정보의 종류에 따라 부분적인 학습피쳐정보로 임시적인 모델에 해당하는 제2추론모델을 각각 학습시키고, 학습피쳐정보 혹은 다른 라벨링이 되어 있는 데이터(만약 이와 같은 데이터가 멜스펙트로그램이면 단계 S2000에서의 모델을 이용하여 중간결과값을 취득함)를 다시 입력하여, 해당 세부피쳐정보의 종류에 따른 추론정확도를 도출한다.That is, according to the type of detailed feature information assigned to each of N1-1, N1-2, N1-3, and N1-5 among the learning feature information, a second inference model corresponding to a temporary model is generated as partial learning feature information, respectively. After learning, the learning feature information or other labeled data (if such data is a mel spectrogram, an intermediate result value is obtained using the model in step S2000) is input again, and the type of detailed feature information is determined. Inference accuracy is derived accordingly.

이와 같이, 추론정확도가 N1-1, N1-2, N1-3, N1-5의 1차하위노드에서 결정이 된다. In this way, the inference accuracy is determined at the primary subnodes of N1-1, N1-2, N1-3, and N1-5.

이후, 탐색된 하위노드 중 가장 높은 추론정확도를 갖는 하위노드를 1차핵심하위노드로 설정하는 1차핵심하위노드설정단계;가 수행된다.Thereafter, a first core sub-node setting step of setting a sub-node having the highest inference accuracy among the searched sub-nodes as the first core sub-node; is performed.

도 9에서 도시된 바와 같이, 또한, 상기 1차하위노드처리단계는, 상기 1차탐색1차하위노드 중 상기 최상위노드보다 추론정확도가 낮은 1차탐색1차하위노드를 제거하는 1차하위노드제거단계를 더 포함한다.As shown in FIG. 9 , in the first sub-node processing step, a primary sub-node of removing a primary search primary sub-node having lower inference accuracy than the highest node among the primary search primary sub-nodes It further includes a removing step.

본 발명의 모든 실시예에서의 공통규칙은 탐색된 하위노드의 추론정확도가 상위노드보다 낮은 경우에는 해당 하위노드를 삭제한다. 도 9에서 N1-5의 추론정확도는 45%로서, 최상위노드 N1의 50%보다 낮기 때문에, 제거되고, 2차 탐색에서는 제외된다.A common rule in all embodiments of the present invention is that when the inference accuracy of the found lower node is lower than that of the upper node, the corresponding lower node is deleted. In FIG. 9, the inference accuracy of N1-5 is 45%, which is lower than 50% of the highest node N1, so it is removed and excluded from the secondary search.

도 10은 본 발명의 일 실시예에 따른 각각의 하위노드에 대한 추론정확도를 도출하는 과정을 개략적으로 도시한다.10 schematically illustrates a process of deriving inference accuracy for each sub-node according to an embodiment of the present invention.

상기 1차추론정확도산출단계에서는, 각각의 상기 1차탐색1차하위노드에 할당된 세부피쳐정보의 종류만을 포함하는 학습피쳐정보로 상기 제2추론모델을 학습하고, 학습된 제2추론모델에 대해, 상기 세부피쳐정보의 종류만을 포함하는 학습피쳐정보를 통하여 시뮬레이션을 하여, 각각의 상기 1차탐색1차하위노드의 추론정확도를 산출한다.In the first inference accuracy calculation step, the second inference model is learned with learning feature information including only the types of detailed feature information assigned to each of the first search primary sub-nodes, and the second inference model is applied to the learned second inference model. For example, simulation is performed through the learning feature information including only the type of detailed feature information, and the inference accuracy of each of the primary search primary sub-nodes is calculated.

이는 모든 노드의 추론정확도를 산출함에 있어서 공통된다. 도 10에 도시된 바와 같이, 예시적으로 N1-1 노드의 추론정확도를 산출하기 위해서는 학습피쳐정보 중 N1-1에 상응하는 세부피쳐정보만으로 제2추론모델을 학습시킨다.This is common in calculating the inference accuracy of all nodes. As shown in FIG. 10, for example, in order to calculate the inference accuracy of the N1-1 node, the second inference model is trained only with detailed feature information corresponding to N1-1 among the learning feature information.

제2추론모델은 N1-1에 상응하는 세부피쳐정보(예를들어, 복수의 실수를 포함하는 1차원 벡터)가 입력되면 이에 따라 호흡음(폐음)의 종류를 판단하는 모델에 해당한다. 학습피쳐정보는 호흡음의 종류가 라벨링되어 있기 때문에, 제2추론모델을 학습할 수 있다.The second inference model corresponds to a model that determines the type of respiratory sound (lung sound) according to the input of detailed feature information corresponding to N1-1 (eg, a one-dimensional vector including a plurality of real numbers). Since the type of breathing sound is labeled in the learning feature information, the second inference model can be learned.

이후, 도 10의 (B)에 도시된 바와 같이, 학습된 제2추론모델에 상기 학습피쳐정보 중 N1-1에 할당된 종류정보에 상응하는 세부피쳐정보를 학습된 제2추론모델에 입력하여 추론결과를 산출하고, 이를 학습피쳐정보의 라벨링된 정보와 비교하여, 통계적으로 N1-1의 추론정확도를 산출한다.Thereafter, as shown in FIG. 10B, detailed feature information corresponding to the type information assigned to N1-1 among the learning feature information in the learned second inference model is input to the learned second inference model. Calculate the inference result, compare it with the labeled information of the learning feature information, and statistically calculate the inference accuracy of N1-1.

이후, N1-2의 추론정확도를 산출함에 있어서는 N1-1의 제2추론모델을 리셋하여 사용하거나, 제2추론모델과 같은 형태를 갖는 초기화된 모델을 사용한다.Thereafter, in calculating the inference accuracy of N1-2, the second inference model of N1-1 is reset and used, or an initialized model having the same shape as the second inference model is used.

도 11은 본 발명의 일 실시예에 따른 2차탐색에서 선택된 하위노드들을 예시적으로 도시한다.11 exemplarily shows sub-nodes selected in the secondary search according to an embodiment of the present invention.

도 11 및 도 12에 도시된 단계는 전술한 1차탐색 이후의 단계에 해당한다.The steps shown in FIGS. 11 and 12 correspond to the steps after the aforementioned first search.

1차하위노드처리단계가 도 9에서와 같이 완료된 후에, 2차하위노드처리단계가 수행된다.After the primary sub-node processing step is completed as shown in FIG. 9, the secondary sub-node processing step is performed.

상기 2차하위노드처리단계는, 기설정된 개수의 2차하위노드를 상기 1차탐색1차하위노드의 하위에 생성하되, 각각의 2차하위노드는 해당하는 상위 1치탐색1차하위노드보다 작은 개수의 세부피쳐정보의 종류가 무작위로 할당되는 2차하위노드생성단계; 상기 1차하위노드 중 일부 혹은 전체에 대하여 탐색을 할 기설정된 개수의 2차탐색1차하위노드를 결정하는 2차탐색1차하위노드결정단계; 상기 2차탐색1차하위노드의 하위에 위치하는 2차하위노드 중 일부 혹은 전체에 대하여 탐색을 할 기설정된 개수의 2차탐색2차하위노드를 결정하는 2차탐색2차하위노드결정단계;가 수행된다.In the secondary sub-node processing step, a preset number of secondary sub-nodes are created below the primary search primary sub-node, and each secondary sub-node is higher than the corresponding upper 1-value search primary sub-node. a secondary sub-node generating step in which a small number of types of detailed feature information are randomly assigned; a secondary search primary sub-node determining step of determining a preset number of secondary search primary sub-nodes to be searched for some or all of the primary sub-nodes; a secondary search secondary sub-node determining step of determining a preset number of secondary search secondary sub-nodes to be searched for some or all of the secondary sub-nodes located below the secondary search primary sub-node; is performed

도 12에서는 각각의 노드에 3개의 하위노드를 생성하는 것으로 설정된 상태를 예시적으로 도시하나, 이와 같은 생성하위노드의 개수는 가변될 수 있다.12 exemplarily shows a state in which three sub-nodes are created in each node, but the number of such generated sub-nodes may be variable.

마찬가지로 N2-1 내지 N2-9 노드는 각각의 상위노드의 세부피쳐정보의 종류 중 일부를 랜덤하게 갖는다.Similarly, nodes N2-1 to N2-9 randomly have some of the types of detailed feature information of each upper node.

바람직하게는, 상기 2차탐색1차하위노드결정단계는, 상기 1차탐색1차하위노드 각각에 대하여, 하기의 식1에 의하여 결정되는 선택확률정보를 반영하여 I개의 시행횟수를 적용하여, 2차탐색1차하위노드를 결정한다.Preferably, in the second search primary sub-node determining step, I number of trials is applied to each of the primary search primary sub-nodes by reflecting the selection probability information determined by Equation 1 below, The secondary search determines the primary child node.

선택확률정보 = 해당 하위노드의 추론정확도 + (기설정된 상수/해당 하위노드의 세부피쳐정보의 종류의 개수) - 식 1Selection probability information = inference accuracy of the corresponding sub-node + (pre-set constant/number of types of detailed feature information of the sub-node) - Equation 1

1차하위노드처리단계에서도 I개의 시행을 수행하였고, 도 12에서의 실시예에서도 동일하게 I개의 시행을 수행한다.I trials were performed in the first sub-node processing step, and I trials are also performed in the same manner in the embodiment of FIG. 12 .

N1에서서 다시 1차하위노드에 대해 탐색할 1차하위노드를 선정한다. 이와 같은 선정은 전술한 선택확률정보에 비례하여 선정확률이 높아지도록 선정된다. 마찬가지로, 난수발생이 이용되나, N1-1, N1-2, N1-3의 선정확률이 동일하지 않다.In N1, the primary child node to be searched is selected for the primary child node again. Such selection is selected so that the selection probability increases in proportion to the above-described selection probability information. Similarly, random number generation is used, but the selection probabilities of N1-1, N1-2, and N1-3 are not the same.

구체적으로, N1-1의 선택확률정보는 N1-1의 추론정확도가 높아질수록 높아지고, N1-1에 할당된 세부피쳐정보의 종류의 개수가 많아질수록 낮아지게 결정된다. 이와 같은 방식으로 추론정확도가 높으면서, 추론변수의 개수를 줄이는 방식으로 최종적으로 세부피쳐정보의 종류를 결정할 수 있다.Specifically, the selection probability information of N1-1 is determined to increase as the inference accuracy of N1-1 increases, and to decrease as the number of types of detailed feature information allocated to N1-1 increases. In this way, the type of detailed feature information can be finally determined in such a way that the inference accuracy is high and the number of inference variables is reduced.

도 11에서는 예시적으로 N1-1에는 2번의 탐색이 배정되고, N1-2에는 2번의 탐색이 배정되고, N1-3에는 1번의 탐색이 배정된다.11, exemplarily, two searches are assigned to N1-1, two searches are assigned to N1-2, and one search is assigned to N1-3.

이후, 상기 2차탐색1차하위노드의 하위에 위치하는 2차하위노드 중 일부 혹은 전체에 대하여 탐색을 할 기설정된 개수의 2차탐색2차하위노드를 결정하는 2차탐색2차하위노드결정단계;가 수행된다.Thereafter, secondary search secondary sub-node determination for determining a preset number of secondary search secondary sub-nodes to be searched for some or all of the secondary sub-nodes located below the secondary search primary sub-node step; is performed.

N1-1에는 2개의 탐색이 배정되었고, 이 탐색의 배정은 일종의 탐색유닛(추론정확도를 탐색하는 유닛)의 개수로 볼 수 있다. 따라서, N1-1에서는 2번의 하위 노드로의 탐색이 가능하다. Two searches are assigned to N1-1, and the assignment of these searches can be viewed as the number of search units (units that search for inference accuracy). Therefore, in N1-1, it is possible to search for the second lower node.

N1-1에는 N2-1, N2-2, N2-3의 하위노드가 배치되어 있고, 신규 생성된 노드에 대해서는 모두 균등한 확률로 2개의 탐색횟수가 배정된다. 도 11에서는 N2-1, N2-2가 배정된 경우를 도시한다.Subnodes of N2-1, N2-2, and N2-3 are arranged in N1-1, and two search times are assigned to all newly created nodes with equal probability. 11 illustrates a case in which N2-1 and N2-2 are allocated.

마찬가지로, N2-5, N2-6, N2-8이 탐색노드로 배정이 된다.Similarly, N2-5, N2-6, and N2-8 are assigned as search nodes.

도 12는 본 발명의 본 발명의 일 실시예에 따라 예시적으로 각 노드들의 추론정확도가 결정되고 이에 따른 노드들에 대한 처리과정을 도시한다.12 is an exemplary diagram illustrating inference accuracy of each node is determined and processing for nodes according to an embodiment of the present invention.

마찬가지로, 2차하위노드에 대해서도 추론정확도가 계산되고, 이는 전술한 도 10의 과정을 따른다.Similarly, the inference accuracy is calculated for the secondary sub-node, which follows the process of FIG. 10 described above.

즉, 2차하위노드처리단계에서는, 각각의 상기 2차탐색2차하위노드에 할당된 세부피쳐정보의 종류만을 포함하는 학습피쳐정보로 상기 제2추론모델을 학습하고, 학습된 제2추론모델에 대해, 상기 세부피쳐정보의 종류만을 포함하는 학습피쳐정보를 통하여 시뮬레이션을 하여, 각각의 상기 2차탐색2차하위노드의 추론정확도를 산출하는 2차추론정확도산출단계; 및 상기 하위노드 중 가장 높은 추론정확도를 갖는 하위노드를 2차핵심하위노드로 설정하는 2차핵심하위노드설정단계;가 세부단계로 수행된다.That is, in the secondary sub-node processing step, the second inference model is learned with the learning feature information including only the type of detailed feature information assigned to each of the secondary search secondary sub-nodes, and the learned second inference model a secondary inference accuracy calculation step of calculating the inference accuracy of each secondary search secondary sub-node by performing a simulation through the learning feature information including only the type of detailed feature information; and a secondary core sub-node setting step of setting a sub-node having the highest inference accuracy among the sub-nodes as a secondary core sub-node; is performed as a detailed step.

도 12에서는 68%의 가장 높은 추론정확도를 갖는 N2-2가 2차핵심하위노드로 설정된다. In FIG. 12, N2-2, which has the highest inference accuracy of 68%, is set as the secondary core subnode.

마찬가지로, 상기 2차하위노드처리단계는, 상기 2차탐색2차하위노드 중 상기 최상위노드보다 추론정확도가 낮은 2차탐색2차하위노드를 제거하는 2차하위노드제거단계를 더 포함한다.Similarly, the secondary sub-node processing step further includes a secondary sub-node removal step of removing a secondary search secondary sub-node having a lower inference accuracy than the highest node among the secondary search secondary sub-nodes.

도 12에서는, N2-1은 상위노드인 N1-1보다 낮은 추론정확도를 갖기 때문에, 제거되고, 이후의 3차하위노드처리단계가 수행된다.In FIG. 12 , since N2-1 has a lower inference accuracy than N1-1, which is an upper node, it is removed, and a subsequent tertiary sub-node processing step is performed.

이와 같은 방식으로 3차하위노드처리단계, 4차하위노드처리단계 등이 수행될 수 있다. 탐색의 시행횟수 I는 탐색 차수와 관계 없이 동일한 수치를 가질 수도 있으나, 탐색 차수가 증가함에 따라 증가할 수 있다.In this way, the tertiary sub-node processing step, the quaternary sub-node processing step, and the like may be performed. The number of search trials I may have the same numerical value regardless of the search order, but may increase as the search order increases.

도 13은 본 발명의 일 실시예에 따른 각각의 노드에 대한 탐색확률에 대하여 도시한다.13 illustrates a search probability for each node according to an embodiment of the present invention.

상기 제1선택정보도출단계는, 1차하위노드처리단계 내지 Q차하위노드처리단계를 포함한다. Q는 사용자의 설정에 따른다.The first selection information derivation step includes a first sub-node processing step to a Q-order sub-node processing step. Q depends on the user's settings.

본 발명의 일 실시예에서는, 한편, 각각의 P차하위노드처리단계에서는(P는 2이상의 자연수), 1차하위노드에서 P-1차하위노드에 대하여(즉, 이전 차수의 탐색에서 생성된 하위노드의 경우), 해당 하위노드가 탐색하위노드로 선택될 확률은 하기의 선택확률정보를 반영하여 결정되는, 호흡음 분류를 위한 피쳐정보 선택방법.In one embodiment of the present invention, on the other hand, in each P-order sub-node processing step (P is a natural number greater than or equal to 2), from the primary sub-node to the P-1 sub-node (that is, generated in the search of the previous order) In the case of a lower node), the probability that the corresponding lower node is selected as a search child node is determined by reflecting the following selection probability information, a feature information selection method for respiratory sound classification.

예를들어, N1에 5개의 탐색횟수가 배정된 경우, N2, N3에 대해서 10개의 탐색횟수가 5개를 총합으로 해서 배정되어야 한다. 이 경우, N2, N3로 배정될 확률은 전술한 선택확률정보에 비례한다.For example, if 5 search counts are assigned to N1, 10 search counts for N2 and N3 should be assigned by adding up to 5. In this case, the probability of being assigned to N2 and N3 is proportional to the above-described selection probability information.

그러나, 어느 경우에도, 본 발명의 실시예들에서는 해당 탐색차수에서 신규로 생성된 노드로의 탐색확률은 모두 동일하다. 즉, N2에 3개의 탐색횟수가 배정된 경우, N4, N5로 총 3개의 탐색횟수가 배정되는 데, 이 경우 N4, N5로 배정될 확률은 모두 동일하다.However, in any case, in the embodiments of the present invention, the search probabilities of the newly created node in the corresponding search order are all the same. That is, when three search times are allocated to N2, a total of three search times are allocated to N4 and N5. In this case, the probability of being allocated to N4 and N5 is the same.

본 발명의 다른 실시예에서는, 해당 노드 패스에서 가장 추론정확도가 높은 노드가 존재하는 지 여부를 고려하고, 또한, 이전의 탐색 차수를 고려할 수 있다.In another embodiment of the present invention, it is possible to consider whether or not there is a node with the highest inference accuracy in the node path, and also to consider the previous search order.

이 경우, 상기 제1선택정보도출단계는, 1차하위노드처리단계 내지 Q차하위노드처리단계를 포함하고, 각각의 P차하위노드처리단계에서는 1차하위노드에서 P-2차하위노드에 대하여, 해당 하위노드의 상위 혹은 하위에 가장 높은 추론정확도를 갖는 하위노드가 존재하는 경우에, 해당 하위노드가 탐색하위노드로 선택될 확률은 하기의 선택확률정보를 반영하여 결정된다.In this case, the first selection information derivation step includes a first sub-node processing step to a Q-order sub-node processing step, and in each P-order sub-node processing step, from the first sub-node to the P-2 sub-node On the other hand, when a lower node having the highest inference accuracy exists above or below the corresponding lower node, the probability that the corresponding lower node is selected as a search lower node is determined by reflecting the following selection probability information.

(여기서, 변수 1은 P-1차하위노드처리단계에서의 해당 하위노드의 탐색횟수(정수), 변수2는 해당 하위노드에서의 '기설정된 상수/해당 하위노드의 세부피쳐정보의 종류의 개수', 변수3은 0 내지 1 사이의 기설정된 확산상수)(Here, variable 1 is the number of searches (integer) of the corresponding sub-node in the P-1st sub-node processing step, and variable 2 is the number of types of 'predetermined constant/detailed feature information of the sub-node in the sub-node. ', variable 3 is a preset diffusion constant between 0 and 1)

이는, 해당 노드와 관련된 상측 및 하측 패스에 가장 추론정확도가 높은 노드가 존재하는 경우에 보다 탐색확률을 높이고, 이전 차수의 탐색에서 해당 노드가 많이 탐색되었다면(탐색유닛이 많이 위치하였다면) 탐색확률을 높이기 위함이다.This increases the search probability more when the node with the highest inference accuracy exists in the upper and lower paths related to the node, and increases the search probability if the node is searched a lot in the previous search (if many search units are located). in order to elevate

한편, 각각의 P차하위노드처리단계에서는 1차하위노드에서 P-2차하위노드에 대하여, 해당 하위노드의 상위 혹은 하위에 가장 높은 추론정확도를 갖는 하위노드가 존재하지 않는 경우에, 해당 하위노드가 탐색하위노드로 선택될 확률은 하기의 선택확률정보를 반영하여 결정되는, 호흡음 분류를 위한 피쳐정보 선택방법.On the other hand, in each P-order sub-node processing step, in the case where a lower node with the highest inference accuracy does not exist above or below the corresponding sub-node with respect to the P-2 sub-node from the 1st sub-node, the corresponding sub-node A method for selecting feature information for respiratory sound classification, wherein a probability that a node is selected as a search sub-node is determined by reflecting the following selection probability information.

이는, 해당 노드와 관련된 상측 및 하측 패스에 가장 추론정확도가 높은 노드가 존재하지 않는 경우에 보다 탐색확률을 낮추고, 이전 차수의 탐색에서 해당 노드가 많이 탐색되었다면(탐색유닛이 많이 위치하였다면) 탐색확률을 높이기 위함이다.This lowers the search probability compared to the case where the node with the highest inference accuracy does not exist in the upper and lower paths related to the node. is to increase

이와 같은 방식으로, 탐색차수가 증가하더라도, 가장 높은 추론정확도가 있는 탐색패스를 기억하여 이를 반영하면서도, 세부피쳐정보의 개수를 줄이고, 동시에, 많이 탐색된 노드를 기억하여, 긍정적으로 피드백을 주기 위함이다.In this way, even if the search order is increased, the search path with the highest inference accuracy is remembered and reflected, the number of detailed feature information is reduced, and at the same time, many searched nodes are remembered to give positive feedback. am.

도 14는 본 발명의 일 실시예에 따른 제2선택정보도출단계에 대하여 도시한다.14 illustrates a second selection information derivation step according to an embodiment of the present invention.

제1선택정보도출단계에서는 사용자가 설정된 차수에 따라 트리를 만들어가면서, 노드를 탐색한다. 최종 차수의 탐색 이후, 가장 높은 추론정확도를 갖는 노드에 할당된 세부피쳐정보의 종류로 전술한 바와 같이, 모델이 학습될 수 있다.In the first selection information derivation step, the user searches for a node while creating a tree according to the set order. After the search of the final order, as described above, the model may be trained with the type of detailed feature information assigned to the node having the highest inference accuracy.

본 발명의 다른 실시예에서는, 제1선택정보도출단계에서 도출된 세부파라미터의 종류에서 추가적인 필터링을 수행하는 제2선택정보도출단계가 수행된다.In another embodiment of the present invention, the second selection information derivation step of performing additional filtering on the types of detailed parameters derived in the first selection information derivation step is performed.

도 14에 도시된 바와 같이, 만약 호흡음의 종류가 정상, 및 비정상으로 분류되는 경우의 제2선택정보도출단계가 수행되는 과정을 도시한다.As shown in FIG. 14 , a process in which the second selection information derivation step is performed when the type of respiration sound is classified as normal or abnormal is shown.

예를들어, 최종적으로 2개의 세부피쳐정보가 최종적으로 제1선택정보도출단계에서 결정되었다고 가정하는 경우(실제로는 훨씬 많은 종류가 선택되나, 설명의 편의상 2개를 가정함), 전체 학습피쳐정보 중 정상으로 라벨링된 학습피쳐정보 중 첫번째 종류의 세부피쳐정보에 대하여 평균 및 분산을 계산하고(제1그래프), 전체 학습피쳐정보 중 비정상으로 라벨링된 학습피쳐정보 중 첫번째 종류의 세부피쳐정보에 대하여 평균 및 분산을 계산하여(제2그래프), 이를 중첩하여 도시한 것이 도 14의 (a)에 해당한다.For example, if it is assumed that finally two detailed feature information is finally determined in the first selection information derivation step (in reality, many types are selected, but two are assumed for convenience of explanation), the entire learning feature information The average and variance are calculated for the first type of detailed feature information among the learning feature information labeled as normal (first graph), and the first type of detailed feature information among the learning feature information labeled as abnormal among all the learning feature information 14 (a) corresponds to calculating the mean and variance (second graph) and superimposing them.

마찬가지로, 두번째 종류의 세부피쳐정보에 대하여 동일하게 처리한 것이 도 14의 (b)에 해당하는 경우, 도 14의 (b)의 분포가 도 14의 (a)의 분포보다 정상과 비정상의 구별이 명확함을 알 수 있다.Similarly, when the same processing for the second type of detailed feature information corresponds to Fig. 14 (b), the distribution of Fig. 14 (b) is more difficult to distinguish between normal and abnormal than the distribution of Fig. 14 (a). can be seen clearly.

이를, 수식으로 나타낸 것이, This is expressed as a formula,

GD=(그래프 1의 평균과 그래프 2의 평균의 차이)/2*(그래프1의 표준편차 + 그래프2의 표준편차)가 될 수 있고, 이와 같은 GD가 높을수록 해당 세부피쳐정보의 종류는 정상과 비정상을 구분함에 있어서, 효과가 좋음을 알 수 있다.GD = (difference between the mean of graph 1 and the mean of graph 2)/2* (standard deviation of graph 1 + standard deviation of graph 2) It can be seen that the effect is good in distinguishing between abnormal and abnormal.

따라서, GD값의 상위 X개 혹은 GD값이 기설정된 수치(도 14에서는 1)을 넘는지 여부를 판단하여, 최종적으로 세부피쳐정보의 종류를 결정할 수 있다.Accordingly, it is determined whether the top X of the GD values or the GD values exceed a preset numerical value (1 in FIG. 14), and finally the type of detailed feature information can be determined.

도 15는 본 발명의 일 실시예에 있어서, 컴퓨팅 장치의 내부 구성의 일례를 설명하기 위한 블록도이다.15 is a block diagram illustrating an example of an internal configuration of a computing device according to an embodiment of the present invention.

도 15에 도시한 바와 같이, 컴퓨팅 장치(11000)은 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/O subsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅 장치(11000)은 폐음 분석 시스템에 해당될 수 있다.15, the computing device 11000 includes at least one processor 11100, a memory 11200, a peripheral interface 11300, an input/output subsystem ( It may include at least an I/O subsystem) 11400 , a power circuit 11500 , and a communication circuit 11600 . In this case, the computing device 11000 may correspond to a lung sound analysis system.

메모리(11200)는, 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅 장치(11000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그밖에 다양한 데이터를 포함할 수 있다.The memory 11200 may include, for example, a high-speed random access memory, a magnetic disk, an SRAM, a DRAM, a ROM, a flash memory, or a non-volatile memory. there is. The memory 11200 may include a software module, an instruction set, or other various data necessary for the operation of the computing device 11000 .

이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다.In this case, access to the memory 11200 from other components such as the processor 11100 or the peripheral device interface 11300 may be controlled by the processor 11100 .

주변장치 인터페이스(11300)는 컴퓨팅 장치(11000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅 장치(11000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.Peripheral interface 11300 may couple input and/or output peripherals of computing device 11000 to processor 11100 and memory 11200 . The processor 11100 may execute a software module or an instruction set stored in the memory 11200 to perform various functions for the computing device 11000 and process data.

입/출력 서브시스템(11400)은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템(11400)은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서 등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템(11400)을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.The input/output subsystem 11400 may couple various input/output peripherals to the peripheral interface 11300 . For example, the input/output subsystem 11400 may include a controller for coupling a peripheral device such as a monitor, keyboard, mouse, printer, or a touch screen or sensor as needed to the peripheral interface 11300 . According to another aspect, input/output peripherals may be coupled to peripheral interface 11300 without going through input/output subsystem 11400 .

전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.The power circuit 11500 may supply power to all or some of the components of the terminal. For example, the power circuit 11500 may include a power management system, one or more power sources such as batteries or alternating current (AC), a charging system, a power failure detection circuit, a power converter or inverter, a power status indicator, or a power source. It may include any other components for creation, management, and distribution.

통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅 장치와 통신을 가능하게 할 수 있다.The communication circuit 11600 may enable communication with another computing device using at least one external port.

또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅 장치와 통신을 가능하게 할 수도 있다.Alternatively, as described above, if necessary, the communication circuit 11600 may include an RF circuit to transmit and receive an RF signal, also known as an electromagnetic signal, to enable communication with other computing devices.

이러한 도 15의 실시예는, 컴퓨팅 장치(11000)의 일례일 뿐이고, 컴퓨팅 장치(11000)은 도 15에 도시된 일부 컴포넌트가 생략되거나, 도 15에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅 장치는 도 15에 도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(1160)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅 장치(11000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.This embodiment of FIG. 15 is only an example of the computing device 11000 , and the computing device 11000 may omit some components shown in FIG. 15 , or further include additional components not shown in FIG. 15 , or 2 It may have a configuration or arrangement that combines two or more components. For example, a computing device for a communication terminal in a mobile environment may further include a touch screen or a sensor in addition to the components shown in FIG. 15 , and may include various communication methods (WiFi, 3G, LTE) in the communication circuit 1160 . , Bluetooth, NFC, Zigbee, etc.) may include a circuit for RF communication. Components that may be included in the computing device 11000 may be implemented in hardware, software, or a combination of both hardware and software including an integrated circuit specialized for one or more signal processing or applications.

본 발명의 실시예에 따른 방법들은 다양한 컴퓨팅 장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 애플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 이용자 단말에 설치될 수 있다. 일 예로, 파일 배포 시스템은 이용자 단말이기의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.Methods according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed through various computing devices and recorded in a computer-readable medium. In particular, the program according to the present embodiment may be configured as a PC-based program or an application dedicated to a mobile terminal. The application to which the present invention is applied may be installed in the user terminal through a file provided by the file distribution system. For example, the file distribution system may include a file transmission unit (not shown) that transmits the file in response to a request from the user terminal.

이상과 같은 본 발명의 일 실시예에 따른 폐음 분석 시스템의 성능을 확인하기 위하여 199건의 데이터를 사용하여 분류 정확도를 도출하였다.In order to confirm the performance of the lung sound analysis system according to an embodiment of the present invention as described above, classification accuracy was derived using 199 cases of data.

상기 199건의 데이터는 171건의 정상 폐음 데이터 및 28건의 비정상 폐음 데이터를 포함하였다. 상기 199건의 데이터는 도 5에서 도시된 바와 같이 멜-스펙트로그램으로 변환되고, 기설정된 시간길이 및 기설정된 시간간격으로 분할하여 분할 멜-스펙트로그램을 생성하게 된다. 이에 따라 1774개의 정상 분할 멜-스펙트로그램 및 267개의 비정상 분할 멜-스펙트로그램이 생성되었고, 이에 기초하여 분석을 수행하였다.The 199 cases of data included 171 normal lung sound data and 28 abnormal lung sound data. The 199 pieces of data are converted into a Mel-spectrogram as shown in FIG. 5, and are divided into a predetermined time length and a predetermined time interval to generate a divided Mel-spectrogram. Accordingly, 1774 normal segmented Mel-spectrograms and 267 abnormal segmented Mel-spectrograms were generated, and analysis was performed based thereon.

이 중 정상 및 비정상 데이터 사이의 바이어스를 줄이기 위하여 정상 분할 멜-스펙트로그램 중 267개의 데이터를 무작위로 선택하였다. 따라서 267개의 정상 분할 멜-스펙트로그램 및 267개의 비정상 분할 멜-스펙트로그램이 훈련 및 테스트를 위하여 사용되었고, 이 중 380개의 분할 멜-스펙트로그램이 훈련에 사용되었고, 154개의 분할 멜-스펙트로그램이 테스트에 사용되었다.In order to reduce the bias between normal and abnormal data, 267 data from the normal segmented Mel-spectrogram were randomly selected. Therefore, 267 normal segmented Mel-spectrograms and 267 abnormal segmented Mel-spectrograms were used for training and testing, of which 380 segmented Mel-spectrograms were used for training, and 154 segmented Mel-spectrograms were used for training and testing. was used for testing.

이와 같은 분할 멜-스펙트로그램에 대해 도 7에 도시된 것과 같은 VGG16 신경망 모델의 컨볼루션 및 풀링을 적용하여 512개의 특징데이터를 추출하였고, 피어슨 상관계수에 기초하여 20개의 특징데이터를 선별하였다. 이와 같이 선별 된 20개의 특징데이터를 각각 5-fold 및 10-fold 학습을 수행한 결과가 하기 표 1과 같이 나타났다.For this segmented Mel-spectrogram, 512 feature data were extracted by applying convolution and pooling of the VGG16 neural network model as shown in FIG. 7, and 20 feature data were selected based on the Pearson correlation coefficient. The results of performing 5-fold and 10-fold learning on the 20 selected feature data, respectively, are shown in Table 1 below.

5-fold5-fold 10-fold10-fold 평균Average 2020 95.47%95.47% 96.22%96.22% 96.1%96.1%

본 발명의 일 실시예에 따르면 입력 받은 폐음 데이터를 2차원 데이터로 변형함으로써 컨볼루션 및 풀링을 통해 특징데이터를 추출할 수 있다.According to an embodiment of the present invention, by transforming the input lung sound data into two-dimensional data, it is possible to extract feature data through convolution and pooling.

본 발명의 일 실시예에 따르면 폐음 2차원 데이터를 기설정된 시간길이 및 기설정된 시간간격으로 분할함으로써 표준화된 크기의 2차원 데이터로부터 특징데이터를 추출하여 폐음을 분석할 수 있다.According to an embodiment of the present invention, the lung sounds can be analyzed by extracting feature data from the two-dimensional data of a standardized size by dividing the two-dimensional lung sound data into a preset time length and a preset time interval.

본 발명의 일 실시예에 따르면 학습데이터로부터 특징데이터를 추출하고, 특징데이터를 피어슨 상관계수를 이용하여 선별함으로써 폐음 데이터를 용이하게 분류할 수 있는 특징데이터를 이용하여 분류를 수행할 수 있다.According to an embodiment of the present invention, classification can be performed using feature data that can easily classify lung sound data by extracting feature data from the learning data and selecting the feature data using a Pearson correlation coefficient.

본 발명의 일 실시예에 따르면 컨볼루션 및 풀링을 통해 추출된 특징데이터를 가중 퍼지 소속 함수 기반의 퍼지 신경망을 통해 분류함으로써 분류의 정확도를 높일 수 있다.According to an embodiment of the present invention, classification accuracy can be increased by classifying feature data extracted through convolution and pooling through a fuzzy neural network based on a weighted fuzzy membership function.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.As described above, although the embodiments have been described with reference to the limited embodiments and drawings, various modifications and variations are possible from the above description by those skilled in the art. For example, the described techniques are performed in an order different from the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result. Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims

1 이상의 프로세서 및 메모리를 포함하는 컴퓨팅 시스템에서 수행되는 호흡음 분류를 위한 피쳐정보 선택방법으로서,
2 이상의 호흡음 종류로 라벨링된 복수의 사운드데이터 각각을 멜스펙트로그램으로 변환하는 변환단계;
입력된 멜스팩트로그램으로부터 상기 2 이상의 호흡음 종류를 추론할 수 있는 기학습된 제1추론모델에 변환된 복수의 상기 멜스펙트로그램을 입력하는 입력단계;
상기 제1추론모델에서의 중간결과값을 1차원으로 플래턴닝(Flattening) 하여, 복수의 종류의 세부피쳐정보를 포함하는 학습피쳐정보를, 각각의 멜스펙트로그램에 대하여 도출하는 학습피쳐정보도출단계; 및
상기 세부피쳐정보의 종류 전체를 최상위노드로 하고, 하위 노드는 상응하는 상위 노드의 세부피쳐정보의 종류 중 일부를 가지도록 설정되는 트리구조에서, 입력된 정보로부터 상기 2 이상의 호흡음 종류를 추론할 수 있는 제2추론모델을 각각의 노드에서 설정된 세부피쳐정보만으로 학습시킨 후에, 학습된 제2추론모델을 시뮬레이션하여 도출된 추론정확도를 도출하고, 가장 높은 추론정확도를 갖는 노드에 할당된 세부피쳐정보의 종류를 포함하는 제1선택정보를 도출하는 제1선택정보도출단계;를 포함하는, 호흡음 분류를 위한 피쳐정보 선택방법.
As a feature information selection method for respiratory sound classification performed in a computing system including one or more processors and memory,
A conversion step of converting each of a plurality of sound data labeled with two or more types of breathing sounds into a Mel spectrogram;
an input step of inputting a plurality of the converted mel spectrograms into a pre-learned first inference model capable of inferring the two or more types of respiratory sounds from the input mel spectrogram;
Learning feature information derivation step of deriving learning feature information including a plurality of types of detailed feature information for each mel spectrogram by flattening the intermediate result value in the first inference model in one dimension ; and
In a tree structure in which the entire type of detailed feature information is set as the highest node, and the lower node has some of the types of detailed feature information of the corresponding upper node, the two or more types of respiratory sounds can be inferred from the input information. After learning a possible second inference model only with detailed feature information set in each node, simulate the learned second inference model to derive the derived inference accuracy, and detailed feature information assigned to the node with the highest inference accuracy A first selection information derivation step of deriving first selection information including the type of

청구항 1에 있어서,
각각의 상기 학습피쳐정보는 N개의 종류의 세부피쳐정보를 포함하고 있고,
상기 N은 상기 학습피쳐정보도출단계에서 플래터닝하여 도출되는 세부피쳐정보의 개수로서, 임의의 자연수에 해당할 수 있고,
상기 제1선택정보도출단계는,
상기 N개의 세부피쳐정보의 종류가 모두 할당된 단일의 최상위노드를 생성하는 최상위노드처리단계; 및
1차하위노드처리단계를 포함하고,
상기 1차하위노드처리단계는,
기설정된 I개의 1차하위노드를 상기 최상위노드의 하위에 생성하되, 각각의 1차하위노드는 상기 N개 보다 작은 개수의 세부피쳐정보의 종류가 무작위로 할당되는 1차하위노드생성단계;
상기 1차하위노드 중 일부 혹은 전체에 대하여 탐색을 할 기설정된 개수의 1차탐색1차하위노드를 결정하는 1차탐색1차하위노드결정단계;
각각의 상기 1차탐색1차하위노드에 할당된 세부피쳐정보의 종류만을 포함하는 학습피쳐정보로 상기 제2추론모델을 학습하고, 학습된 제2추론모델에 대해, 상기 세부피쳐정보의 종류만을 포함하는 학습피쳐정보를 통하여 시뮬레이션을 하여, 각각의 상기 1차탐색1차하위노드의 추론정확도를 산출하는 1차추론정확도산출단계; 및
탐색된 하위노드 중 가장 높은 추론정확도를 갖는 하위노드를 1차핵심하위노드로 설정하는 1차핵심하위노드설정단계;를 포함하고,
상기 I는 1차하위노드의 개수로서 2 이상의 자연수에서 임의로 설정될 수 있는, 호흡음 분류를 위한 피쳐정보 선택방법.
The method according to claim 1,
Each of the learning feature information includes N types of detailed feature information,
The N is the number of detailed feature information derived by plattering in the learning feature information derivation step, and may correspond to an arbitrary natural number,
The first selection information derivation step is,
a highest node processing step of generating a single highest node to which all types of the N pieces of detailed feature information are allocated; and
Including the first sub-node processing step,
The first sub-node processing step is,
a first sub-node generating step in which preset I primary sub-nodes are created below the highest node, and each primary sub-node is randomly assigned to a number of types of detailed feature information less than the N pieces;
a first search primary sub-node determining step of determining a preset number of primary search primary sub-nodes to be searched for some or all of the primary sub-nodes;
The second inference model is learned with learning feature information including only the type of detailed feature information assigned to each of the primary search primary sub-nodes, and for the learned second inference model, only the type of detailed feature information a first inference accuracy calculation step of calculating the inference accuracy of each of the first search first sub-nodes by performing a simulation through the included learning feature information; and
A first core sub-node setting step of setting a sub-node having the highest inference accuracy among the searched sub-nodes as the first core sub-node;
Wherein I is the number of primary sub-nodes, which can be arbitrarily set to a natural number of 2 or more, a method for selecting feature information for respiratory sound classification.

청구항 2에 있어서,
상기 1차탐색1차하위노드결정단계는,
상기 I개의 1차하위노드에 대하여, 각각의 노드별로 동일한 확률로서 난수를 발생시켜, I개 이하의 개수의 1차하위노드를 1차탐색1차하위노드로 결정하는, 호흡음 분류를 위한 피쳐정보 선택방법.
3. The method according to claim 2,
The first search first sub-node decision step is,
For the I primary subnodes, a random number is generated with the same probability for each node, and the number of I or less primary subnodes is determined as the primary search primary subnodes, a feature for respiratory sound classification How to choose information.

청구항 2에 있어서,
상기 1차하위노드처리단계는,
상기 1차탐색1차하위노드 중 상기 최상위노드보다 추론정확도가 낮은 1차탐색1차하위노드를 제거하는 1차하위노드제거단계를 더 포함하는, 호흡음 분류를 위한 피쳐정보 선택방법.
3. The method according to claim 2,
The first sub-node processing step is,
The method for selecting feature information for respiratory sound classification, further comprising: removing a primary search primary sub-node having a lower inference accuracy than the highest node among the primary search primary sub-nodes.

청구항 2에 있어서,
상기 제1선택정보도출단계는,
2차하위노드처리단계를 더 포함하고,
상기 2차하위노드처리단계는,
기설정된 개수의 2차하위노드를 상기 1차탐색1차하위노드의 하위에 생성하되, 각각의 2차하위노드는 해당하는 상위 1치탐색1차하위노드보다 작은 개수의 세부피쳐정보의 종류가 무작위로 할당되는 2차하위노드생성단계;
상기 1차하위노드 중 일부 혹은 전체에 대하여 탐색을 할 기설정된 개수의 2차탐색1차하위노드를 결정하는 2차탐색1차하위노드결정단계;
상기 2차탐색1차하위노드의 하위에 위치하는 2차하위노드 중 일부 혹은 전체에 대하여 탐색을 할 기설정된 개수의 2차탐색2차하위노드를 결정하는 2차탐색2차하위노드결정단계;
각각의 상기 2차탐색2차하위노드에 할당된 세부피쳐정보의 종류만을 포함하는 학습피쳐정보로 상기 제2추론모델을 학습하고, 학습된 제2추론모델에 대해, 상기 세부피쳐정보의 종류만을 포함하는 학습피쳐정보를 통하여 시뮬레이션을 하여, 각각의 상기 2차탐색2차하위노드의 추론정확도를 산출하는 2차추론정확도산출단계; 및
상기 하위노드 중 가장 높은 추론정확도를 갖는 하위노드를 2차핵심하위노드로 설정하는 2차핵심하위노드설정단계;를 포함하는, 호흡음 분류를 위한 피쳐정보 선택방법.
3. The method according to claim 2,
The first selection information derivation step is,
Further comprising a secondary sub-node processing step,
The secondary sub-node processing step is,
A preset number of secondary sub-nodes are created below the primary search primary sub-node, and each secondary sub-node has a smaller number of detailed feature information than the corresponding upper 1-value search primary sub-node. randomly assigned secondary sub-node creation step;
a secondary search primary sub-node determining step of determining a preset number of secondary search primary sub-nodes to be searched for some or all of the primary sub-nodes;
a secondary search secondary sub-node determining step of determining a preset number of secondary search secondary sub-nodes to be searched for some or all of the secondary sub-nodes located below the secondary search primary sub-node;
The second inference model is learned with learning feature information including only the type of detailed feature information allocated to each of the secondary search secondary sub-nodes, and for the learned second inference model, only the type of detailed feature information a secondary inference accuracy calculation step of calculating the inference accuracy of each of the secondary search secondary sub-nodes by performing a simulation through the included learning feature information; and
A second core sub-node setting step of setting a sub-node having the highest inference accuracy among the sub-nodes as a second core sub-node;

청구항 5에 있어서,
상기 2차탐색1차하위노드결정단계는,
상기 1차탐색1차하위노드 각각에 대하여, 하기의 식에 의하여 결정되는 선택확률정보를 반영하여 I개의 시행횟수를 적용하여, 2차탐색1차하위노드를 결정하는, 호흡음 분류를 위한 피쳐정보 선택방법.

선택확률정보 = 해당 하위노드의 추론정확도 + (기설정된 상수/해당 하위노드의 세부피쳐정보의 종류의 개수)
6. The method of claim 5,
The secondary search primary sub-node determining step is,
For each of the primary search primary sub-nodes, I number of trials is applied to reflect the selection probability information determined by the following equation to determine the secondary search primary sub-node, a feature for respiratory sound classification How to choose information.

Selection probability information = inference accuracy of the corresponding sub-node + (pre-set constant/number of types of detailed feature information of the sub-node)

청구항 5에 있어서,
상기 2차하위노드처리단계는,
상기 2차탐색2차하위노드 중 상기 최상위노드보다 추론정확도가 낮은 2차탐색2차하위노드를 제거하는 2차하위노드제거단계를 더 포함하는, 호흡음 분류를 위한 피쳐정보 선택방법.
6. The method of claim 5,
The secondary sub-node processing step is,
The method for selecting feature information for respiratory sound classification, further comprising a secondary sub-node removal step of removing a secondary search secondary sub-node having a lower inference accuracy than the highest node among the secondary search secondary sub-nodes.

삭제delete

1 이상의 프로세서 및 메모리를 포함하는 컴퓨팅 시스템으로 구현되는 호흡음 분류를 위한 피쳐정보 선택시스템으로서,
상기 피쳐정보 선택시스템은,
2 이상의 호흡음 종류로 라벨링된 복수의 사운드데이터 각각을 멜스펙트로그램으로 변환하는 변환단계;
입력된 멜스팩트로그램으로부터 상기 2 이상의 호흡음 종류를 추론할 수 있는 기학습된 제1추론모델에 변환된 복수의 상기 멜스펙트로그램을 입력하는 단계;
상기 제1추론모델에서의 중간결과값을 1차원으로 플래턴닝(Flattening) 하여, 복수의 종류의 세부피쳐정보를 포함하는 학습피쳐정보를, 각각의 멜스펙트로그램에 대하여 도출하는 학습피쳐정보도출단계; 및
상기 세부피쳐정보의 종류 전체를 최상위노드로 하고, 하위 노드는 상응하는 상위 노드의 세부피쳐정보의 종류 중 일부를 가지도록 설정되는 트리구조에서, 입력된 정보로부터 상기 2 이상의 호흡음 종류를 추론할 수 있는 제2추론모델을 각각의 노드에서 설정된 세부피쳐정보만으로 학습시킨 후에, 학습된 제2추론모델을 시뮬레이션하여 도출된 추론정확도를 도출하고, 가장 높은 추론정확도를 갖는 노드에 할당된 세부피쳐정보의 종류를 포함하는 제1선택정보를 도출하는 제1선택정보도출단계;를 수행하는, 호흡음 분류를 위한 피쳐정보 선택시스템.
As a feature information selection system for respiratory sound classification implemented as a computing system including one or more processors and memory,
The feature information selection system,
A conversion step of converting each of a plurality of sound data labeled with two or more types of breathing sounds into a Mel spectrogram;
inputting a plurality of converted mel spectrograms to a pre-learned first inference model capable of inferring the two or more types of respiratory sounds from the input mel spectrograms;
Learning feature information derivation step of deriving learning feature information including a plurality of types of detailed feature information for each mel spectrogram by flattening the intermediate result value in the first inference model in one dimension ; and
In a tree structure in which the entire type of detailed feature information is set as the highest node, and the lower node has some of the types of detailed feature information of the corresponding upper node, the two or more types of respiratory sounds can be inferred from the input information. After learning a possible second inference model only with detailed feature information set in each node, simulate the learned second inference model to derive the derived inference accuracy, and detailed feature information assigned to the node with the highest inference accuracy A first selection information derivation step for deriving first selection information including the type of

1 이상의 프로세서 및 메모리를 포함하는 컴퓨팅 시스템에서 수행되는 호흡음 분류를 위한 피쳐정보 선택 및 추론모델의 생성방법으로서,
2 이상의 호흡음 종류로 라벨링된 복수의 사운드데이터 각각을 멜스펙트로그램으로 변환하는 변환단계;
입력된 멜스팩트로그램으로부터 상기 2 이상의 호흡음 종류를 추론할 수 있는 기학습된 제1추론모델에 변환된 복수의 상기 멜스펙트로그램을 입력하는 단계;
상기 제1추론모델에서의 중간결과값을 1차원으로 플래턴닝(Flattening) 하여, 복수의 종류의 세부피쳐정보를 포함하는 학습피쳐정보를, 각각의 멜스펙트로그램에 대하여 도출하는 학습피쳐정보도출단계;
상기 세부피쳐정보의 종류 전체를 최상위노드로 하고, 하위 노드는 상응하는 상위 노드의 세부피쳐정보의 종류 중 일부를 가지도록 설정되는 트리구조에서, 입력된 정보로부터 상기 2 이상의 호흡음 종류를 추론할 수 있는 제2추론모델을 각각의 노드에서 설정된 세부피쳐정보만으로 학습시킨 후에, 학습된 제2추론모델을 시뮬레이션하여 도출된 추론정확도를 도출하고, 가장 높은 추론정확도를 갖는 노드에 할당된 세부피쳐정보의 종류를 포함하는 제1선택정보를 도출하는 제1선택정보도출단계; 및
상기 제1선택정보에 따른 세부피쳐정보로 딥러닝추론모델을 학습시키고, 상기 딥러닝추론모델은 상기 제1선택정보에 따른 세부피쳐정보의 종류에 해당하는 입력정보를 입력받아, 상기 2 이상의 호흡음 종류를 출력할 수 있는 모델학습단계;를 포함하는, 피쳐정보 선택 및 추론모델의 생성방법.
A method of selecting feature information and generating an inference model for respiratory sound classification performed in a computing system including one or more processors and memory, the method comprising:
A conversion step of converting each of a plurality of sound data labeled with two or more types of breathing sounds into a Mel spectrogram;
inputting a plurality of converted mel spectrograms to a pre-learned first inference model capable of inferring the two or more types of respiratory sounds from the input mel spectrograms;
Learning feature information derivation step of deriving learning feature information including a plurality of types of detailed feature information for each mel spectrogram by flattening the intermediate result value in the first inference model in one dimension ;
In a tree structure in which the entire type of detailed feature information is set as the highest node, and the lower node has some of the types of detailed feature information of the corresponding upper node, the two or more types of respiratory sounds can be inferred from the input information. After learning a possible second inference model only with detailed feature information set in each node, simulate the learned second inference model to derive the derived inference accuracy, and detailed feature information assigned to the node with the highest inference accuracy a first selection information deriving step of deriving first selection information including a type of and
A deep learning inference model is trained with detailed feature information according to the first selection information, and the deep learning inference model receives input information corresponding to the type of detailed feature information according to the first selection information. A method of selecting feature information and generating an inference model, including; a model learning step capable of outputting a sound type.

1 이상의 프로세서 및 메모리를 포함하는 컴퓨팅 시스템으로 구현되는 호흡음 분류를 위한 피쳐정보 선택 및 추론모델의 생성장치로서,
상기 생성장치는,
2 이상의 호흡음 종류로 라벨링된 복수의 사운드데이터 각각을 멜스펙트로그램으로 변환하는 변환단계;
입력된 멜스팩트로그램으로부터 상기 2 이상의 호흡음 종류를 추론할 수 있는 기학습된 제1추론모델에 변환된 복수의 상기 멜스펙트로그램을 입력하는 단계;
상기 제1추론모델에서의 중간결과값을 1차원으로 플래턴닝(Flattening) 하여, 복수의 종류의 세부피쳐정보를 포함하는 학습피쳐정보를, 각각의 멜스펙트로그램에 대하여 도출하는 학습피쳐정보도출단계;
상기 세부피쳐정보의 종류 전체를 최상위노드로 하고, 하위 노드는 상응하는 상위 노드의 세부피쳐정보의 종류 중 일부를 가지도록 설정되는 트리구조에서, 입력된 정보로부터 상기 2 이상의 호흡음 종류를 추론할 수 있는 제2추론모델을 각각의 노드에서 설정된 세부피쳐정보만으로 학습시킨 후에, 학습된 제2추론모델을 시뮬레이션하여 도출된 추론정확도를 도출하고, 가장 높은 추론정확도를 갖는 노드에 할당된 세부피쳐정보의 종류를 포함하는 제1선택정보를 도출하는 제1선택정보도출단계; 및
상기 제1선택정보에 따른 세부피쳐정보로 딥러닝추론모델을 학습시키고, 상기 딥러닝추론모델은 상기 제1선택정보에 따른 세부피쳐정보의 종류에 해당하는 입력정보를 입력받아, 상기 2 이상의 호흡음 종류를 출력할 수 있는 모델학습단계;를 수행하는, 호흡음 분류를 위한 피쳐정보 선택 및 추론모델의 생성장치.
An apparatus for selecting feature information and generating an inference model for respiratory sound classification implemented as a computing system including one or more processors and memory,
The generator is
A conversion step of converting each of a plurality of sound data labeled with two or more types of breathing sounds into a Mel spectrogram;
inputting a plurality of converted mel spectrograms to a pre-learned first inference model capable of inferring the two or more types of respiratory sounds from the input mel spectrograms;
Learning feature information derivation step of deriving learning feature information including a plurality of types of detailed feature information for each mel spectrogram by flattening the intermediate result value in the first inference model in one dimension ;
In a tree structure in which the entire type of detailed feature information is set as the highest node, and the lower node has some of the types of detailed feature information of the corresponding upper node, the two or more types of respiratory sounds can be inferred from the input information. After learning a possible second inference model only with detailed feature information set in each node, simulate the learned second inference model to derive the derived inference accuracy, and detailed feature information assigned to the node with the highest inference accuracy a first selection information deriving step of deriving first selection information including a type of and
A deep learning inference model is trained with detailed feature information according to the first selection information, and the deep learning inference model receives input information corresponding to the type of detailed feature information according to the first selection information. A model learning step capable of outputting a sound type; a device for selecting feature information for respiratory sound classification and generating an inference model to perform.