KR20230086956A

KR20230086956A - Method and computer program for evaluating aircraft noise level

Info

Publication number: KR20230086956A
Application number: KR1020210175442A
Authority: KR
Inventors: 최수은
Original assignee: 주식회사 삼우에이엔씨
Priority date: 2021-12-09
Filing date: 2021-12-09
Publication date: 2023-06-16

Abstract

Disclosed is a computer program stored on a computer-readable medium. The computer program includes instructions which enable one or more processors to classify voice data. The instructions include the steps of: converting the voice data into voice image data by preprocessing to visualize the voice data; classifying the voice image data into noise data and background voice data using a noise classification model; and evaluating noise impact based on classification results.

Description

항공기 소음도를 평가하기 위한 방법 및 컴퓨터 프로그램{METHOD AND COMPUTER PROGRAM FOR EVALUATING AIRCRAFT NOISE LEVEL}Method and computer program for evaluating aircraft noise level

본 개시는 생활 공간에 대한 소음을 측정하기 위한 것으로, 보다 구체적으로 항공기에 의한 소음도를 기계학습 모델을 이용하여 측정하기 위한 것이다. The present disclosure is for measuring noise in a living space, and more specifically, for measuring noise level by an aircraft using a machine learning model.

산업의 발전과 소득의 증가, 그리고 여행과 여가에 대한 관심은 항공기의 운항 편수를 지속적으로 증가시켜 왔으며, 그에 따라 공항 주변의 항공기 소음에 대한 관심이 높아지고 있다. 특히, 오랫동안 민원의 대상이 되어왔던, 군 공항 소음 문제는 2020년 11월 군용비행장 군 사격장 소음 방지 및 피해 보상에 관한 법률이 시행되고, 소음 피해 보상이 법제화되면서 군용 항공기의 소음 측정 및 평가는 더욱 중요하게 되었다. Industrial development, increase in income, and interest in travel and leisure have continuously increased the number of aircraft operations, and accordingly, interest in aircraft noise around airports is increasing. In particular, the noise problem at military airports, which has been the subject of civil complaints for a long time, has been enacted in November 2020 as the Act on Noise Prevention and Damage Compensation for Military Airfields and Military Shooting Ranges was enacted and noise damage compensation was enacted. it became important

항공기 소음의 측정, 평가 관련하여 가장 중요한 것은 배경소음과 항공기 소음을 정확하게 구별하는 것이다. 현재 배경소음과 항공기 소음을 구별하기 위해서는 사람이 직접 보거나 녹음된 소리를 듣는 방법을 가장 많이 사용한다. 하지만 매우 방대한 양의 항공기 소음 측정 데이터를 이러한 방법으로 분석하는 데는 시간이 오래 걸리고, 숙련된 엔지니어 인력의 수작업이 필요하다는 점에서 비효율적이며 정확도가 떨어진다. In relation to the measurement and evaluation of aircraft noise, the most important thing is to accurately distinguish between background noise and aircraft noise. Currently, in order to distinguish between background noise and aircraft noise, a method of directly seeing or listening to a recorded sound is most often used. However, analyzing a very large amount of aircraft noise measurement data in this way is inefficient and inaccurate in that it takes a long time and requires manual work by skilled engineers.

항공기 소음에 대한 관심도가 커져가고 여러 종류의 데이터를 효율적으로 분류하는데 사용되는 머신 러닝 알고리즘을 활용하는 연구도 꾸준히 이어지고 있다. Interest in aircraft noise is growing, and research using machine learning algorithms that are used to efficiently classify various types of data is also continuing.

본 개시는 전술한 배경기술에 대응하여 안출 된 것으로, 녹음된 음성으로부터 항공기 소음과 배경 음성을 분리하여 항공기 소음도를 측정하기 위한 것이다. The present disclosure has been made in response to the above background art, and is intended to measure aircraft noise level by separating aircraft noise and background voice from recorded voice.

전술한 과제를 해결하기 위한, 컴퓨터 판독가능 매체에 저장된 컴퓨터 프로그램이 개시된다. 상기 컴퓨터 프로그램은 하나 이상의 프로세서로 하여금 음성 데이터를 분류하기 위한 명령들을 포함하며, 상기 명령들은, 상기 음성 데이터를 이미지화 하는 전처리를 수행하여, 상기 음성 데이터를 음성 이미지 데이터로 변환하는 단계; 상기 음성 이미지 데이터를 소음 분류 모델을 이용하여, 소음 데이터와 배경 음성 데이터로 분류하는 단계; 및 상기 분류 결과에 기초하여 소음 영향도를 평가하는 단계를 포함할 수 있다. A computer program stored in a computer readable medium for solving the above problems is disclosed. The computer program includes instructions for causing one or more processors to classify audio data, the instructions comprising: converting the audio data into audio image data by performing pre-processing of imaging the audio data; classifying the audio image data into noise data and background audio data using a noise classification model; and evaluating a noise influence based on the classification result.

대안적으로, 상기 음성 데이터를 이미지화 하는 전처리를 수행하여, 상기 음성 데이터를 음성 이미지 데이터로 변환하는 단계는, 상기 음성 데이터를 일축은 상기 음성 데이터의 주파수, 상기 다른 일 축은 시간으로 하는 2 차원 행렬 형태이며, 상기 행렬의 각 성분은 상기 음성 데이터의 각 주파수에 대한 상기 음성 데이터의 각 시간 간격에서의 소음도로 하는 이미지로 변환하는 단계를 포함할 수 있다. Alternatively, the step of converting the audio data into audio image data by performing pre-processing to image the audio data may include a two-dimensional matrix in which one axis of the audio data is the frequency of the audio data and the other axis is time. and converting each component of the matrix into an image of noise at each time interval of the voice data for each frequency of the voice data.

대안적으로, 상기 소음도는 상기 음성 데이터의 각 주파수에 대한 각 시간 간격에서의 음향의 크기에 기초할 수 있다. Alternatively, the noise level may be based on the loudness of sound at each time interval for each frequency of the voice data.

대안적으로, 상기 행렬의 각 성분은 정규화되어, 상기 음향 데이터는 그레이 스케일 이미지 형태로 전처리될 수 있다. Alternatively, each element of the matrix may be normalized, and the acoustic data may be preprocessed into a gray scale image form.

대안적으로, 상기 소음 분류 모델은, 랜덤 포레스트 모델, SVM(support vector machine), 또는 합성곱 신경망(CNN, convolutional neural network) 중 적어도 하나의 분류 모델을 포함할 수 있다. Alternatively, the noise classification model may include at least one classification model among a random forest model, a support vector machine (SVM), and a convolutional neural network (CNN).

대안적으로, 상기 소음 분류 모델은, 음성 데이터를 이미지화한 음성 이미지 학습 데이터로 학습되며, 상기 음성 이미지 학습 데이터는 소음 데이터를 이미지화한 소음 이미지 학습 데이터, 배경 음성을 이미지화한 배경 음성 이미지 학습 데이터를 포함하며, 음성 이미지 학습 데이터에 포함된 각각의 데이터는 라벨링 될 수 있다. Alternatively, the noise classification model is learned using voice image learning data in which voice data is imaged, and the voice image learning data includes noise image learning data in which noise data is imaged and background voice image learning data in which background voice is imaged. and each data included in the audio image learning data may be labeled.

대안적으로, 상기 배경 음성 이미지 학습 데이터는 일반 배경 음성이 이미지화된 일반 배경 음성 이미지 학습 데이터 및 일반 배경 음성보다 높은 소음을 포함하는 가짜 소음 배경 음성 이미지 학습 데이터를 포함할 수 있다. Alternatively, the background speech image training data may include normal background speech image training data in which a normal background speech is imaged and fake noise background speech image training data including noise higher than that of the normal background speech.

대안적으로, 상기 음성 이미지 학습 데이터는 상기 소음 이미지 학습 데이터와 상기 배경 음성 이미지 학습 데이터를 사전결정된 비율로 포함할 수 있다. Alternatively, the audio image learning data may include the noise image learning data and the background audio image learning data at a predetermined ratio.

대안적으로, 상기 음성 이미지 학습 데이터는 상기 소음 분류 모델의 조정에 사용되는 학습 데이터 서브세트, 상기 소음 분류 모델의 유효성 판단에 사용되는 검증 데이터 서브세트, 및 상기 소음 분류 모델의 테스트에 사용되는 테스트 데이터 서브세트를 포함할 수 있다. Alternatively, the speech image training data may include a subset of training data used for adjusting the noise classification model, a subset of validation data used for determining validity of the noise classification model, and a test used for testing the noise classification model. Data subsets may be included.

대안적으로, 상기 소음 분류 모델은, 하나 이상의 분류 모델의 분류 결과에 대한 앙상블을 통해 상기 음성 이미지 데이터를 상기 소음 데이터와 상기 배경 음성 데이터로 분류할 수 있다. Alternatively, the noise classification model may classify the audio image data into the noise data and the background audio data through an ensemble of classification results of one or more classification models.

대안적으로, 상기 음성 데이터 각각은 상기 음성 데이터가 획득된 시간에 관련한 획득 시간 정보를 포함할 수 있다. Alternatively, each of the voice data may include acquisition time information related to a time at which the voice data was obtained.

대안적으로, 상기 분류 결과에 기초하여 소음 영향도를 평가하는 단계는, 상기 소음 데이터로 분류된 음성 데이터의 소음도와, 상기 음성 데이터의 획득 시간 정보에 기초하여 소음 영향도를 평가하는 단계를 포함할 수 있다. Alternatively, the step of evaluating the noise influence based on the classification result includes evaluating the noise influence based on the noise level of the voice data classified as the noise data and acquisition time information of the voice data. can do.

본 개시는 녹음된 음성으로부터 항공기 소음과 배경 음성을 분리하여 항공기 소음도를 측정할 수 있다. The present disclosure can measure aircraft noise level by separating aircraft noise and background voice from recorded voice.

도 1 은 본 개시의 일 실시예의 항공기 소음도 측정을 수행하기 위한 컴퓨터 장치의 블록 구성도이다.
도 2 는 본 개시의 일 실시예의 항공기 소음도 측정 시스템의 개요도이다.
도 3 은 본 개시의 일 실시예의 소음 분류 모델을 학습 시키기 위한 학습 데이터 수집 환경의 일 예시이다.
도 4 는 본 개시의 일 실시예의 전처리된 음성 이미지 데이터의 일 예시이다.
도 5는 본 개시의 일 실시예에 따라 인공 신경 네트워크를 나타낸 개략도이다.
도 6 는 본 개시의 실시예들이 구현될 수 있는 예시적인 컴퓨팅 환경에 대한 간략하고 일반적인 개략도이다.1 is a block diagram of a computer device for measuring aircraft noise level according to an embodiment of the present disclosure.
2 is a schematic diagram of an aircraft noise level measurement system according to an embodiment of the present disclosure.
3 is an example of a learning data collection environment for learning a noise classification model according to an embodiment of the present disclosure.
4 is an example of pre-processed audio image data according to an embodiment of the present disclosure.
5 is a schematic diagram showing an artificial neural network according to an embodiment of the present disclosure.
6 is a simplified and general schematic diagram of an exemplary computing environment in which embodiments of the present disclosure may be implemented.

다양한 실시예들이 이제 도면을 참조하여 설명된다. 본 명세서에서, 다양한 설명들이 본 개시의 이해를 제공하기 위해서 제시된다. 그러나, 이러한 실시예들은 이러한 구체적인 설명 없이도 실행될 수 있음이 명백하다.Various embodiments are now described with reference to the drawings. In this specification, various descriptions are presented to provide an understanding of the present disclosure. However, it is apparent that these embodiments may be practiced without these specific details.

본 명세서에서 사용되는 용어 "컴포넌트", "모듈", "시스템" 등은 컴퓨터-관련 엔티티, 하드웨어, 펌웨어, 소프트웨어, 소프트웨어 및 하드웨어의 조합, 또는 소프트웨어의 실행을 지칭한다. 예를 들어, 컴포넌트는 프로세서상에서 실행되는 처리과정(procedure), 프로세서, 객체, 실행 스레드, 프로그램, 및/또는 컴퓨터일 수 있지만, 이들로 제한되는 것은 아니다. 예를 들어, 컴퓨팅 장치에서 실행되는 애플리케이션 및 컴퓨팅 장치 모두 컴포넌트일 수 있다. 하나 이상의 컴포넌트는 프로세서 및/또는 실행 스레드 내에 상주할 수 있다. 일 컴포넌트는 하나의 컴퓨터 내에 로컬화 될 수 있다. 일 컴포넌트는 2개 이상의 컴퓨터들 사이에 분배될 수 있다. 또한, 이러한 컴포넌트들은 그 내부에 저장된 다양한 데이터 구조들을 갖는 다양한 컴퓨터 판독가능한 매체로부터 실행할 수 있다. 컴포넌트들은 예를 들어 하나 이상의 데이터 패킷들을 갖는 신호(예를 들면, 로컬 시스템, 분산 시스템에서 다른 컴포넌트와 상호작용하는 하나의 컴포넌트로부터의 데이터 및/또는 신호를 통해 다른 시스템과 인터넷과 같은 네트워크를 통해 전송되는 데이터)에 따라 로컬 및/또는 원격 처리들을 통해 통신할 수 있다.The terms “component,” “module,” “system,” and the like, as used herein, refer to a computer-related entity, hardware, firmware, software, a combination of software and hardware, or an execution of software. For example, a component may be, but is not limited to, a procedure, processor, object, thread of execution, program, and/or computer running on a processor. For example, both an application running on a computing device and a computing device may be components. One or more components may reside within a processor and/or thread of execution. A component can be localized within a single computer. A component may be distributed between two or more computers. Also, these components can execute from various computer readable media having various data structures stored thereon. Components may be connected, for example, via signals with one or more packets of data (e.g., data and/or signals from one component interacting with another component in a local system, distributed system) to other systems and over a network such as the Internet. data being transmitted) may communicate via local and/or remote processes.

더불어, 용어 "또는"은 배타적 "또는"이 아니라 내포적 "또는"을 의미하는 것으로 의도된다. 즉, 달리 특정되지 않거나 문맥상 명확하지 않은 경우에, "X는 A 또는 B를 이용한다"는 자연적인 내포적 치환 중 하나를 의미하는 것으로 의도된다. 즉, X가 A를 이용하거나; X가 B를 이용하거나; 또는 X가 A 및 B 모두를 이용하는 경우, "X는 A 또는 B를 이용한다"가 이들 경우들 어느 것으로도 적용될 수 있다. 또한, 본 명세서에 사용된 "및/또는"이라는 용어는 열거된 관련 아이템들 중 하나 이상의 아이템의 가능한 모든 조합을 지칭하고 포함하는 것으로 이해되어야 한다.In addition, the term “or” is intended to mean an inclusive “or” rather than an exclusive “or”. That is, unless otherwise specified or clear from the context, “X employs A or B” is intended to mean one of the natural inclusive substitutions. That is, X uses A; X uses B; Or, if X uses both A and B, "X uses either A or B" may apply to either of these cases. Also, the term "and/or" as used herein should be understood to refer to and include all possible combinations of one or more of the listed related items.

또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하는 것으로 이해되어야 한다. 다만, "포함한다" 및/또는 "포함하는"이라는 용어는, 하나 이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다. 또한, 달리 특정되지 않거나 단수 형태를 지시하는 것으로 문맥상 명확하지 않은 경우에, 본 명세서와 청구범위에서 단수는 일반적으로 "하나 또는 그 이상"을 의미하는 것으로 해석되어야 한다.Also, the terms "comprises" and/or "comprising" should be understood to mean that the features and/or components are present. However, it should be understood that the terms "comprises" and/or "comprising" do not exclude the presence or addition of one or more other features, elements, and/or groups thereof. Also, unless otherwise specified or where the context clearly indicates that a singular form is indicated, the singular in this specification and claims should generally be construed to mean "one or more".

그리고, "A 또는 B 중 적어도 하나"이라는 용어는, "A만을 포함하는 경우", "B 만을 포함하는 경우", "A와 B의 구성으로 조합된 경우"를 의미하는 것으로 해석되어야 한다. In addition, the term “at least one of A or B” should be interpreted as meaning “when only A is included”, “when only B is included”, and “when A and B are combined”.

당업자들은 추가적으로 여기서 개시된 실시예들과 관련되어 설명된 다양한 예시적 논리적 블록들, 구성들, 모듈들, 회로들, 수단들, 로직들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양쪽 모두의 조합들로 구현될 수 있음을 인식해야 한다. 하드웨어 및 소프트웨어의 상호교환성을 명백하게 예시하기 위해, 다양한 예시적 컴포넌트들, 블록들, 구성들, 수단들, 로직들, 모듈들, 회로들, 및 단계들은 그들의 기능성 측면에서 일반적으로 위에서 설명되었다. 그러한 기능성이 하드웨어로 또는 소프트웨어로서 구현되는지 여부는 전반적인 시스템에 부과된 특정 어플리케이션(application) 및 설계 제한들에 달려 있다. 숙련된 기술자들은 각각의 특정 어플리케이션들을 위해 다양한 방법들로 설명된 기능성을 구현할 수 있다. 다만, 그러한 구현의 결정들이 본 개시내용의 영역을 벗어나게 하는 것으로 해석되어서는 안된다.Those skilled in the art will further understand that the various illustrative logical blocks, components, modules, circuits, means, logics, and algorithm steps described in connection with the embodiments disclosed herein may be implemented using electronic hardware, computer software, or combinations of both. It should be recognized that it can be implemented as To clearly illustrate the interchangeability of hardware and software, various illustrative components, blocks, configurations, means, logics, modules, circuits, and steps have been described above generally in terms of their functionality. Whether such functionality is implemented in hardware or as software depends on the particular application and design constraints imposed on the overall system. Skilled artisans may implement the described functionality in varying ways for each particular application. However, such implementation decisions should not be interpreted as causing a departure from the scope of this disclosure.

제시된 실시예들에 대한 설명은 본 개시의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 개시의 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이다. 여기에 정의된 일반적인 원리들은 본 개시의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예 들로 한정되는 것이 아니다. 본 발명은 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다. The description of the presented embodiments is provided to enable any person skilled in the art to use or practice the present invention. Various modifications to these embodiments will be apparent to those skilled in the art of this disclosure. The general principles defined herein may be applied to other embodiments without departing from the scope of this disclosure. Thus, the present invention is not limited to the embodiments presented herein. The present invention is to be accorded the widest scope consistent with the principles and novel features set forth herein.

본 개시에서 네트워크 함수와 인공 신경망 및 뉴럴 네트워크(neural network)는 상호교환가능하게 사용될 수 있다.In the present disclosure, network functions, artificial neural networks, and neural networks may be used interchangeably.

도 1 은 본 개시의 일 실시예의 항공기 소음도 측정을 수행하기 위한 컴퓨터 장치의 블록 구성도이다. 1 is a block diagram of a computer device for measuring aircraft noise level according to an embodiment of the present disclosure.

도 1에 도시된 컴퓨팅 장치(100)의 구성은 간략화 하여 나타낸 예시일 뿐이다. 본 개시의 일 실시예에서 컴퓨팅 장치(100)는 컴퓨팅 장치(100)의 컴퓨팅 환경을 수행하기 위한 다른 구성들이 포함될 수 있고, 개시된 구성들 중 일부만이 컴퓨팅 장치(100)를 구성할 수도 있다. The configuration of the computing device 100 shown in FIG. 1 is only a simplified example. In one embodiment of the present disclosure, the computing device 100 may include other components for performing a computing environment of the computing device 100, and only some of the disclosed components may constitute the computing device 100.

컴퓨팅 장치(100)는 프로세서(110), 메모리(130), 네트워크부(150)를 포함할 수 있다.The computing device 100 may include a processor 110 , a memory 130 , and a network unit 150 .

프로세서(110)는 하나 이상의 코어로 구성될 수 있으며, 컴퓨팅 장치의 중앙 처리 장치(CPU: central processing unit), 범용 그래픽 처리 장치 (GPGPU: general purpose graphics processing unit), 텐서 처리 장치(TPU: tensor processing unit) 등의 데이터 분석, 딥러닝을 위한 프로세서를 포함할 수 있다. 프로세서(110)는 메모리(130)에 저장된 컴퓨터 프로그램을 판독하여 본 개시의 일 실시예에 따른 기계 학습을 위한 데이터 처리를 수행할 수 있다. 본 개시의 일 실시예에 따라 프로세서(110)는 신경망의 학습을 위한 연산을 수행할 수 있다. 프로세서(110)는 딥러닝(DL: deep learning)에서 학습을 위한 입력 데이터의 처리, 입력 데이터에서의 피처 추출, 오차 계산, 역전파(backpropagation)를 이용한 신경망의 가중치 업데이트 등의 신경망의 학습을 위한 계산을 수행할 수 있다. 프로세서(110)의 CPU, GPGPU, 및 TPU 중 적어도 하나가 네트워크 함수의 학습을 처리할 수 있다. 예를 들어, CPU 와 GPGPU가 함께 네트워크 함수의 학습, 네트워크 함수를 이용한 데이터 분류를 처리할 수 있다. 또한, 본 개시의 일 실시예에서 복수의 컴퓨팅 장치의 프로세서를 함께 사용하여 네트워크 함수의 학습, 네트워크 함수를 이용한 데이터 분류를 처리할 수 있다. 또한, 본 개시의 일 실시예에 따른 컴퓨팅 장치에서 수행되는 컴퓨터 프로그램은 CPU, GPGPU 또는 TPU 실행가능 프로그램일 수 있다.The processor 110 may include one or more cores, and includes a central processing unit (CPU), a general purpose graphics processing unit (GPGPU), and a tensor processing unit (TPU) of a computing device. unit), data analysis, and processors for deep learning. The processor 110 may read a computer program stored in the memory 130 and process data for machine learning according to an embodiment of the present disclosure. According to an embodiment of the present disclosure, the processor 110 may perform an operation for learning a neural network. The processor 110 is used for neural network learning, such as processing input data for learning in deep learning (DL), extracting features from input data, calculating errors, and updating neural network weights using backpropagation. calculations can be performed. At least one of the CPU, GPGPU, and TPU of the processor 110 may process learning of the network function. For example, the CPU and GPGPU can process learning of network functions and data classification using network functions. In addition, in an embodiment of the present disclosure, the learning of a network function and data classification using a network function may be processed by using processors of a plurality of computing devices together. In addition, a computer program executed in a computing device according to an embodiment of the present disclosure may be a CPU, GPGPU or TPU executable program.

본 개시의 일 실시예에 따르면, 메모리(130)는 프로세서(110)가 생성하거나 결정한 임의의 형태의 정보 및 네트워크부(150)가 수신한 임의의 형태의 정보를 저장할 수 있다.According to an embodiment of the present disclosure, the memory 130 may store any type of information generated or determined by the processor 110 and any type of information received by the network unit 150 .

본 개시의 일 실시예에 따르면, 메모리(130)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 컴퓨팅 장치(100)는 인터넷(internet) 상에서 상기 메모리(130)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다. 전술한 메모리에 대한 기재는 예시일 뿐, 본 개시는 이에 제한되지 않는다.According to an embodiment of the present disclosure, the memory 130 is a flash memory type, a hard disk type, a multimedia card micro type, or a card type memory (eg, SD or XD memory, etc.), RAM (Random Access Memory, RAM), SRAM (Static Random Access Memory), ROM (Read-Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory) -Only Memory), a magnetic memory, a magnetic disk, and an optical disk may include at least one type of storage medium. The computing device 100 may operate in relation to a web storage that performs a storage function of the memory 130 on the Internet. The above description of the memory is only an example, and the present disclosure is not limited thereto.

본 개시의 일 실시예에 따른 네트워크부(150)는 공중전화 교환망(PSTN: Public Switched Telephone Network), xDSL(x Digital Subscriber Line), RADSL(Rate Adaptive DSL), MDSL(Multi Rate DSL), VDSL(Very High Speed DSL), UADSL(Universal Asymmetric DSL), HDSL(High Bit Rate DSL) 및 근거리 통신망(LAN) 등과 같은 다양한 유선 통신 시스템들을 사용할 수 있다. The network unit 150 according to an embodiment of the present disclosure includes a Public Switched Telephone Network (PSTN), x Digital Subscriber Line (xDSL), Rate Adaptive DSL (RADSL), Multi Rate DSL (MDSL), and VDSL ( Various wired communication systems such as Very High Speed DSL), Universal Asymmetric DSL (UADSL), High Bit Rate DSL (HDSL), and Local Area Network (LAN) may be used.

또한, 본 명세서에서 제시되는 네트워크부(150)는 CDMA(Code Division Multi Access), TDMA(Time Division Multi Access), FDMA(Frequency Division Multi Access), OFDMA(Orthogonal Frequency Division Multi Access), SC-FDMA(Single Carrier-FDMA) 및 다른 시스템들과 같은 다양한 무선 통신 시스템들을 사용할 수 있다. In addition, the network unit 150 presented in this specification includes Code Division Multi Access (CDMA), Time Division Multi Access (TDMA), Frequency Division Multi Access (FDMA), Orthogonal Frequency Division Multi Access (OFDMA), SC-FDMA ( Single Carrier-FDMA) and other systems.

본 개시에서 네트워크부(150)는 유선 및 무선 등과 같은 그 통신 양태를 가리지 않고 구성될 수 있으며, 단거리 통신망(PAN: Personal Area Network), 근거리 통신망(WAN: Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 또한, 상기 네트워크는 공지의 월드와이드웹(WWW: World Wide Web)일 수 있으며, 적외선(IrDA: Infrared Data Association) 또는 블루투스(Bluetooth)와 같이 단거리 통신에 이용되는 무선 전송 기술을 이용할 수도 있다.In the present disclosure, the network unit 150 may be configured regardless of its communication mode, such as wired and wireless, and may be configured with various communication networks such as a personal area network (PAN) and a wide area network (WAN). can In addition, the network may be the known World Wide Web (WWW), or may use a wireless transmission technology used for short-range communication, such as Infrared Data Association (IrDA) or Bluetooth.

본 개시의 컴퓨팅 장치(100)는 네트워크부(150)를 통해 분석 대상인 음성 데이터를 수신할 수도 있고, 음성 데이터는 물리적 저장 매체를 이용하여 컴퓨팅 장치(100)에 전달될 수도 있다. The computing device 100 of the present disclosure may receive voice data to be analyzed through the network unit 150, and the voice data may be transmitted to the computing device 100 using a physical storage medium.

도 2 를 참조하면 분석 대상인 음성 데이터는 마이크 등 음성 신호 획득 장치(100)에 의하여 획득될 수 있다. 획득된 음성 신호는 네트워크 통신 또는 물리적 저장 매체에 의하여 컴퓨팅 장치(100)에 전달될 수 있다. Referring to FIG. 2 , voice data to be analyzed may be acquired by the voice signal acquisition device 100 such as a microphone. The obtained voice signal may be transmitted to the computing device 100 through network communication or a physical storage medium.

프로세서(110)는 음성 데이터를 이미지화 하는 전처리를 수행하여 음성 데이터를 음성 이미지 데이터로 변환할 수 있다. 프로세서(110)는 음성 데이터를 일축은 음성 데이터의 주파수, 다른 일 축은 시간으로 하는 2 차원 행렬 형태로 변환할 수 있다. 여기서 행렬의 각 성분은 음성 데이터의 각 주파수에 대한 음성 데이터의 각 시간에서의 소음도일 수 있다. 예를 들어서, 프로세서(110)는 음성 데이터를 음성 데이터의 각 열을 1/3 옥타브 밴드로 분석된 36개의 주파수 값으로 하고, 음성 데이터의 각 행을 1 초 간격으로 하며, 각각의 행렬의 값은 해당 시간 해당 주파수의 성분의 소음도로 하는 2차원 행렬 형태로 변환하여 이미지화 할 수 있다. 즉, 전처리된 음성 데이터의 이미지화된 데이터의 각 픽셀은 특정 시간에서 특정 주파수의 소음도 값일 수 있다. 여기서 소음도는 소음의 정도를 나타내는 값일 수 있으며, 예를 들어, 특정 시간, 특정 주파수의 음성의 크기의 최저값, 최대값 또는 평균값 등일 수 있다. 또한, 예를 들어 본 개시에서의 소음도는 측정된 시간에 따른 가중치를 가질 수 있으며 예를 들어, 저녁과 야간에 측정된 소음에 대해서 낮 시간에 측정된 소음에 비하여 가중치를 부여할 수도 있다. 또한, 본 개시에서의 소음도는 지속 시간에 따른 보정치를 가질 수 있으며 예를 들어, 소음의 지속 시간이 긴 경우에 더 큰 보정치가 부가될 수 있다. 전술한 소음도의 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않고, 본 개시의 소음도는 소음이 주는 영향을 나타내기에 적절한 데이터 일 수 있다. 행렬화 된 이미지 데이터의 행렬의 각 성분은 정규화되어, 상기 음향 데이터는 그레이 스케일 이미지 형태로 전처리될 수 있다. 프로세서(110)는 음성 데이터의 행렬의 각 성분을 소음도의 정도에 따라 예를 들어, 256 단계로 정규화 할 수 있으며, 음향 데이터를 소음 분류 모델에서 처리 가능한 그레이 스케일 이미지 형태로 변환하여, 음성 이미지 데이터를 생성할 수 있다. The processor 110 may convert the audio data into audio image data by performing preprocessing of imaging the audio data. The processor 110 may convert the voice data into a two-dimensional matrix in which one axis is the frequency of the voice data and the other axis is time. Here, each component of the matrix may be a noise level at each time of the voice data for each frequency of the voice data. For example, the processor 110 sets each column of the voice data as 36 frequency values analyzed in 1/3 octave bands for the voice data, sets each row of the voice data at 1 second intervals, and sets each matrix value can be imaged by converting it into a two-dimensional matrix form of the noise level of the component of the corresponding frequency at the corresponding time. That is, each pixel of the imaged data of the preprocessed voice data may be a noise level value of a specific frequency at a specific time. Here, the noise level may be a value indicating the level of noise, and may be, for example, a minimum value, a maximum value, or an average value of the loudness of a sound at a specific time and a specific frequency. In addition, for example, the noise level in the present disclosure may have a weight according to the measured time, and for example, noise measured in the evening and at night may be weighted compared to noise measured during the day. In addition, the noise level in the present disclosure may have a correction value according to the duration, and for example, a larger correction value may be added when the duration of the noise is long. The description of the noise level described above is only an example, and the present disclosure is not limited thereto, and the noise level of the present disclosure may be data suitable for representing the effect of noise. Each element of the matrix of the matrixed image data is normalized, and the acoustic data may be pre-processed in the form of a gray scale image. The processor 110 may normalize each component of the matrix of voice data according to the degree of noise level, for example, in 256 steps, converts the acoustic data into a gray scale image form that can be processed by the noise classification model, and converts the audio image data into a gray scale image form. can create

여기서, 소음 분류 모델은 랜덤 포레스트 모델, SVM(support vector machine), 또는 합성곱 신경망(CNN, convolutional neural network) 중 적어도 하나의 분류 모델을 포함할 수 있으며, 이미지화된 데이터를 분류할 수 있는 적절한 형태의 인공 신경망 형태의 분류 모델이 소음 분류 모델에 포함될 수도 있다. Here, the noise classification model may include at least one classification model of a random forest model, a support vector machine (SVM), or a convolutional neural network (CNN), and has an appropriate form capable of classifying imaged data. A classification model in the form of an artificial neural network of may be included in the noise classification model.

랜덤 포레스트는 결정 트리의 일종으로, 분류기 알고리즘의 일종이다. 결정 트리는 yes/no 또는 true/false 로 답할 수 있는 질문을 연속적으로 하며 데이터를 분류하는 대표적인 머신 러닝 분류 기법이다. 결정 트리는 데이터를 질문을 통해 분류해 가며, 루프 노드부터 리프 노드까지 분류하며, 루트 노드에 어떤 특성을 대입하는 것이 가장 빠르게 리프 노드를 가지게 될 지 반복하여 계산하면서 최적의 루트 노드를 찾아 분류하는 것이다. 루트 노드는 데이터넷을 가장 잘 분류할 수 있는 최상위 판단 기준(특성)이다. 판단 기준에 대하여 true 또는 false 냐에 따라 데이터는 상이한 자식 노드로 할당되며, 리프 노드는 자식 노드 중에서 데이터를 분할했을 때 하나의 타깃 값을 가지게 되는 노드로서, 더 이상 분할되지 않는 노드를 의미한다. 랜덤 포레스트는 데이터셋에서 중복을 허용하고, 무작위로 샘플을 추출하여 이 샘플들에 대해 다양한 모델을 생성하는 배깅 방법을 적용하여 결정 트리 모델과 결합하여 사용하는 앙상블 방법이다. 배깅 방법을 사용하면 결정 트리에서 큰 단점인 과대 적합 문제를 줄이고 성능을 높일 수 있다. 따라서, 랜덤 포레스트는 결정 트리보다 다양성이 강조되며, 각각 트리의 훈련 시간도 짧아지는 장점이 있다. 배깅을 사용한 샘플은 중복을 허용하면서 무작위로 취해지기 때문에 어떤 샘플은 여러 번 취해지기도 하고, 어떤 샘플은 전혀 선택되지 않기도 한다. 선택되지 않은 학습 샘플의 나머지를 out of bag(oob) 샘플이라고 하고, 이 oob 샘플은 분류기에서 사용되지 않기 때문에 평가에 사용되기도 한다. 결정 트리는 중요도가 떨어지는 일부 특성을 배제하기도 하지만, 랜덤 포레스트는 무작위로 특성을 선택하기 때문에 거의 모든 특성이 선택된다. 따라서, 랜덤 포레스트는 모든 특성의 상대적 중요도를 측정하기 쉽다는 장점이 있다. A random forest is a type of decision tree, which is a type of classifier algorithm. A decision tree is a representative machine learning classification technique that classifies data by continuously asking questions that can be answered with yes/no or true/false. The decision tree classifies data through questions, classifies from loop nodes to leaf nodes, and finds and classifies the optimal root node while repeatedly calculating which characteristic is substituted into the root node to have a leaf node the fastest. . The root node is the highest criterion (characteristic) that can best classify the datanet. Depending on whether the criterion is true or false, data is allocated to different child nodes, and a leaf node is a node that has one target value when data is divided among child nodes, and means a node that is not further divided. Random Forest is an ensemble method that is used in combination with a decision tree model by applying a bagging method that allows redundancy in a dataset, randomly extracts samples, and generates various models for these samples. The bagging method reduces overfitting, a major drawback of decision trees, and improves performance. Therefore, random forests emphasize diversity more than decision trees, and have the advantage of shortening the training time of each tree. Samples using bagging are taken randomly, allowing for overlap, so some samples are taken multiple times and some are not selected at all. The rest of the training samples that are not selected are called out of bag (oob) samples, and since these oob samples are not used in the classifier, they are also used for evaluation. Decision trees may exclude some less important features, but since random forests randomly select features, almost all features are selected. Thus, random forests have the advantage of being easy to measure the relative importance of all features.

서포트 벡터 머신(SVM, support vector machine)은 머신 러닝에서 가장 많이 사용되는 알고리즘 중 하나이며, 복잡한 분류 문제를 해결하기 좋은 분류기이다. 선형 또는 비선형 분류에도 많이 쓰이며, 회귀, 이상치 탐색 등에도 사용이 가능하다. 서포트 벡터 머신은 데이터를 벡터 공간에 매핑하고 이들 데이터를 분류할 수 있는 최적의 분류 경계를 탐색하는 방법이다. 서포트 벡터 머신은 학습 데이터가 적을 때에도 높은 정확도를 기대할 수 있고, 파라미터를 조정하는 간단한 방법으로 과대 적합 및 과소 적합에 적절하게 대처할 수 있다는 장점이 있다. 반면, 특성이 다양한 데이터 또는 확연히 다른 경우에는 데이터의 전처리 과정이 매우 중요할 수 있다. Support vector machine (SVM) is one of the most used algorithms in machine learning and is a good classifier for solving complex classification problems. It is widely used for linear or non-linear classification, and can also be used for regression and outlier detection. A support vector machine is a method of mapping data into a vector space and exploring the optimal classification boundary that can classify these data. Support vector machines have the advantage that high accuracy can be expected even when the training data is small, and that overfitting and underfitting can be appropriately dealt with by a simple method of adjusting parameters. On the other hand, in the case of data having various characteristics or distinctly different characteristics, a data preprocessing process may be very important.

합성곱 신경망(CNN, convolutional neural network)은 머신 러닝의 인공 신경망을 다중으로 깊게 만든 딥 러닝(deep learning)알고리즘 중 하나이다. 딥 러닝이란 사람의 뇌를 본떠 만든 인공 신경망이고, CNN은 사람의 뇌가 어떻게 사물을 인식할 수 있는 지를 형상화한 알고리즘이다. 이러한 심층 인공 신경망은 역 전파 알고리즘을 통해 훈련된다. 역 전파 알고리즘은 정방향으로 한번, 역방향으로 한번 통과하여 오차를 줄일 수 있는 가중치와 편향 값으로 저장한다. 이러한 과정을 여러 번 반복하면 오차가 매우 줄어들게 된다. A convolutional neural network (CNN) is one of the deep learning algorithms that multi-deeply deepen the artificial neural network of machine learning. Deep learning is an artificial neural network modeled after the human brain, and CNN is an algorithm that embodies how the human brain can recognize objects. These deep artificial neural networks are trained through a backpropagation algorithm. The back propagation algorithm passes once in the forward direction and once in the backward direction and stores them as weights and bias values that can reduce errors. If this process is repeated several times, the error is greatly reduced.

프로세서(110)는 본 개시의 소음 분류 모델을 음성 데이터를 이미지화한 음성 이미지 학습 데이터를 이용하여 학습시킬 수 있다. 여기서 음성 이미지 학습 데이터는 소음 데이터를 이미지화한 소음 이미지 학습 데이터, 배경 음성을 이미지화한 배경 음성 이미지 학습 데이터를 포함하며, 음성 이미지 학습 데이터에 포함된 각각의 데이터는 라벨링될 수 있다. 소음 이미지 학습 데이터는 소음으로 라벨링 될 수 있다. 배경 음성 이미지 학습 데이터는 배경음으로 라벨링 될 수 있다. 또한, 배경 음성이 이미지화된 배경 음성 이미지 학습 데이터는 일반 배경 음성에 기초한 데이터와 일반 배경 음성보다 높은 소음을 포함하지만 분류 목표인 소음과는 종류가 상이한 소음을 포함하는 가짜 소음 배경 음성에 기초한 데이터를 포함할 수 있다. 배경 음성 이미지 학습 데이터는 일반 배경 음성이 이미지화된 일반 배경 음성 이미지 학습 데이터 및 일반 배경 음성 보다 높은 소음을 포함하는 가짜 소음 배경 음성 이미지 학습 데이터를 포함할 수 있다. 이러한 가짜 소음을 학습 데이터에 추가함으로써, 본 개시의 소음 분류 모델은 단순히 소음의 정도만으로 음성 데이터를 분류하는 것이 아니라, 분류 목표인 항공기 소음 만을 보다 정확하게 분류할 수 있다. 이때 가짜 소음 배경 음성에 기초한 데이터는 가짜 소음 또는 배경음으로 라벨링 될 수 있다. The processor 110 may train the noise classification model of the present disclosure using voice image learning data in which voice data is imaged. Here, the audio image learning data includes noise image learning data in which noise data is imaged and background audio image learning data in which background audio is imaged, and each data included in the audio image learning data may be labeled. Noise image training data may be labeled as noise. Background sound image training data may be labeled as background sound. In addition, the background voice image training data in which the background voice is imaged includes data based on normal background voice and data based on fake noise background voice including noise higher than the normal background voice but different in type from noise that is a classification target. can include The background speech image training data may include normal background speech image training data in which a normal background speech is imaged and fake noise background speech image training data including noise higher than that of the normal background speech. By adding such fake noise to the training data, the noise classification model of the present disclosure can more accurately classify only aircraft noise, which is a classification target, rather than simply classifying voice data only by the degree of noise. In this case, data based on fake noise background voice may be labeled as fake noise or background sound.

본 개시의 일 실시예에서, 음성 이미지 학습 데이터는 소음 이미지 학습 데이터와 배경 음성 이미지 학습 데이터를 사전결정된 비율로 포함할 수 있다. 일반적으로 소음을 나타내는 학습 데이터와 배경 음성을 나타내는 학습 데이터는 학습 데이터에 비대칭(imbalance)이 있을 수 있다. 일반적으로 소음은 특수한 상황이며 배경 음성은 일반적인 상황으로, 일반적인 환경에서 음성을 측정하여 생성한 학습 데이터는 배경 음성 데이터를 소음 데이터 보다 많이 포함하게 된다. 이러한 샘플의 종류에 비대칭이 있는 학습데이터를 이용하여 학습하는 경우, 분류 성능이 떨어질 수 있으며 오분류 가능성이 증가할 수 있다. 따라서, 본 개시의 일 실시예에서, 소음 분류 모델을 학습시키기 위한 학습 데이터는 데이터 비대칭을 보정한 학습 데이터로 구성될 수 있으며, 데이터 비대칭을 보정하기 위하여 프로세서(110)는 배경 음성 데이터 샘플의 수를 줄이거나, 소음 데이터 샘플의 수를 늘릴 수 있다. In an embodiment of the present disclosure, the audio image learning data may include noise image learning data and background audio image learning data at a predetermined ratio. In general, there may be an imbalance between training data representing noise and training data representing background voice. In general, noise is a special situation and background voice is a general situation, and training data generated by measuring voice in a general environment includes more background voice data than noise data. In the case of learning using training data having an asymmetry in the type of these samples, classification performance may decrease and the possibility of misclassification may increase. Therefore, in one embodiment of the present disclosure, training data for learning a noise classification model may be composed of training data corrected for data asymmetry, and in order to correct for data asymmetry, the processor 110 determines the number of background voice data samples. may be reduced or the number of noise data samples may be increased.

또한, 본 개시에서, 음성 이미지 학습 데이터는 소음 분류 모델의 조정에 사용되는 학습 데이터 서브세트, 소음 분류 모델의 유효성 판단에 사용되는 검증 데이터 서브세트 및 소음 분류 모델의 테스트에 사용되는 테스트 데이터 서브세트를 포함할 수 있다. 프로세서(110)는 학습 데이터 서브세트에 포함된 각각의 데이터를 소음 분류 모델에 입력시켜 출력된 출력과 학습 데이터 서브세트에 포함된 각각의 데이터에 라벨링된 라벨과 비교하여 오차를 역전파 하는 것으로 소음 분류 모델을 학습시킬 수 있다. 프로세서(110)는 일정 정확도 이상 학습된 소음 분류 모델에 검증 데이터 서브세트의 각각의 데이터를 입력하여 소음 분류 모델의 학습이 적절하게 이루어지고 있는지 검증할 수 있다. 프로세서(110)는 학습된 소음 분류 모델에 테스트 데이터 서브세트의 각각의 데이터를 입력하여 출력되는 분류 결과와 각각의 데이터의 라벨을 비교하여 학습된 소음 분류 모델의 성능을 확인할 수 있다.In addition, in the present disclosure, the speech image learning data is a subset of training data used for adjusting the noise classification model, a subset of verification data used for determining the validity of the noise classification model, and a subset of test data used for testing the noise classification model. can include The processor 110 inputs each data included in the training data subset to the noise classification model, compares the output output with a label labeled for each data included in the training data subset, and reverse-propagates the noise. Classification models can be trained. The processor 110 may verify whether the noise classification model is properly trained by inputting each data of the verification data subset to the noise classification model that has been learned with a certain accuracy or higher. The processor 110 may check performance of the learned noise classification model by inputting each data of the test data subset to the learned noise classification model and comparing output classification results with labels of each data.

소음 분류 모델은 하나 이상의 분류 모델의 분류 결과에 대한 앙상블을 통해 음성 이미지 데이터를 소음 데이터와 배경 음성 데이터로 분류할 수 있다. 본 개시의 소음 분류 모델은 하나의 분류 모델일 수도 있고, 다수의 분류 모델을 포함할 수도 있다. 예를 들어, 본 개시의 소음 분류 모델은 합성곱 신경망 기반의 다수의 분류 모델을 포함하여 각각의 모델의 분류 결과를 앙상블 하여 분류 결과를 출력할 수도 있다. 또한 다른 예시에서, 본 개시의 소음 분류 모델은 랜덤 포레스트 모델 기반 분류 모델, SVM기반 분류 모델, 합성곱 신경망 기반 분류 모델의 앙상블로 분류 결과를 출력할 수 있다. 이 경우, 각각의 분류 모델은 분류 모델의 학습 시에 평가된 정확도에 기초한 가중치를 가질 수 있으며, 소음 분류 모델은 각각의 분류 모델에 적용된 가중치를 고려하여 각각의 분류 모델의 분류 결과를 앙상블 하여 최종 분류 결과를 출력할 수 있다. 예를 들어, 합성곱 신경망 기반 분류 모델이 랜덤 포레스트 모델 보다 정확도가 높은 것으로 평가된 경우, 소음 분류 모델은 합성곱 신경망 기반의 분류 모델의 분류 결과에 랜덤 포레스트 모델 기반의 분류 모델의 분류 결과 보다 높은 가중치를 부여하여 각각의 분류 모델의 분류 결과들을 앙상블 할 수 있다. The noise classification model may classify the voice image data into noise data and background voice data through an ensemble of classification results of one or more classification models. The noise classification model of the present disclosure may be one classification model or may include a plurality of classification models. For example, the noise classification model of the present disclosure may include a plurality of classification models based on a convolutional neural network and ensemble classification results of each model to output a classification result. In another example, the noise classification model of the present disclosure may output a classification result as an ensemble of a classification model based on a random forest model, a classification model based on an SVM, and a classification model based on a convolutional neural network. In this case, each classification model may have a weight based on the accuracy evaluated during learning of the classification model, and the noise classification model ensembles the classification results of each classification model in consideration of the weight applied to each classification model to obtain a final The classification result can be output. For example, if the classification model based on the convolutional neural network is evaluated as having higher accuracy than the random forest model, the noise classification model has higher accuracy than the classification result of the classification model based on the random forest model in the classification result of the classification model based on the convolutional neural network. It is possible to ensemble the classification results of each classification model by assigning a weight.

프로세서(110)는 소음 분류 모델의 분류 결과에 기초하여 소음 영향도를 평가할 수 있다. 프로세서(110)는 소음 분류 모델을 이용하여 음성 데이터를 소음과 배경음으로 분류할 수 있다. 프로세서(110)는 소음으로 분류된 음성 데이터에 기초하여 소음 영향도를 평가할 수 있다. 음성 데이터 각각은 음성 데이터가 획득된 시간에 관련한 획득 시간 정보를 포함할 수 있다. 프로세서(110)는 소음으로 분류된 음성 데이터의 주파수, 음향, 또는 획득 시간 중 어느 하나에 기초하여 소음 영향도를 평가할 수 있다. 또한, 프로세서(110)는 소음으로 분류된 음성 데이터가 연속된 수에 기초하여 소음 영향도를 평가할 수 있다. 예를 들어, 저녁 시간, 아침 시간에 획득된 소음의 경우에는 낮 시간에 획득된 소음에 비하여 소음 영향도가 클 수 있다. 또한, 동일한 시간에 획득된 소음일 경우라도, 더 높은 주파수, 더 큰 음향의 경우에는 소음 영향도가 클 수 있다. 또한, 소음의 지속 시간이 긴 경우에 보다 큰 소음 영향도를 가지는 것으로 판단될 수 있다. The processor 110 may evaluate the noise influence based on the classification result of the noise classification model. The processor 110 may classify voice data into noise and background sound using a noise classification model. The processor 110 may evaluate the degree of influence of noise based on the voice data classified as noise. Each piece of voice data may include acquisition time information related to a time at which the voice data was obtained. The processor 110 may evaluate the noise influence based on any one of frequency, sound, or acquisition time of the voice data classified as noise. In addition, the processor 110 may evaluate the noise influence based on the number of consecutive voice data classified as noise. For example, in the case of noise acquired in the evening or morning, the influence of noise may be greater than that obtained during the day. In addition, even in the case of noise acquired at the same time, in the case of a higher frequency and louder sound, the degree of influence of noise may be large. In addition, when the duration of the noise is long, it may be determined to have a greater noise influence.

도 3 은 본 개시의 일 실시예의 소음 분류 모델을 학습시키기 위한 학습 데이터 수집 환경의 일 예시이다. 도 3 의 학습 데이터 수집 환경은 예시일 뿐이며 본 개시는 이에 제한되지 않는다. 학습 데이터 수집을 위하여 공항(20)에 인접한 주거지에서 항공기 소음과 배경 소음 그리고 공사 소음이 섞여 있는 3 개 지점(N3(23), N5(25), N8(28))에서 항공기가 운행 되었던 4~5 일간의 음향 데이터를 수집하였다. 공항(20)에서 주로 운항하는 항공기는 FA-50, T-50 등의 군용 항공기일 수 있다. 본 개시의 일 실시예에서 측정 지점에서 배경 소음은 소음이 발생하기 직전 또는 직후의 소음 수준을 말하며, 최소 5 분 이상의 등가 소음도 일 수 있다. 배경 소음의 변동이 심하거나, 이상소음 발생 또는 편대 비행 등으로 5분 이상의 배경 소음도를 측정할 수 없는 경우에는 매 시간의 L95 소음 통계 레벨을 배경소음도로 사용하였으며, 1 시간의 이상의 지속적 소음으로 배경 소음 측정이 불가능한 경우에는 소음 발생 직전 또는 직후 시간대의 L95 소음통계 레벨을 배경 소음으로 하였다. 전술한 배경 소음의 측정 방법, 측정 위치 등은 예시일 뿐이며 본 개시는 이에 제한되지 않는다. 3 is an example of a learning data collection environment for learning a noise classification model according to an embodiment of the present disclosure. The learning data collection environment of FIG. 3 is only an example and the present disclosure is not limited thereto. For learning data collection, 4 to 4 where aircraft were operated at three points (N3(23), N5(25), N8(28)) where aircraft noise, background noise, and construction noise were mixed in a residential area adjacent to the airport (20). Five days of acoustic data were collected. Aircraft mainly operated by the airport 20 may be military aircraft such as FA-50 and T-50. In one embodiment of the present disclosure, the background noise at the measurement point refers to a noise level immediately before or after the noise is generated, and may be an equivalent noise level of at least 5 minutes or more. In cases where the background noise level for more than 5 minutes could not be measured due to severe fluctuations in background noise, occurrence of abnormal noise, or flight in formation, the hourly L95 noise statistical level was used as the background noise level. When noise measurement was impossible, the L95 noise statistics level of the time immediately before or after the noise occurred was used as the background noise. The above-described background noise measurement method, measurement location, etc. are only examples, and the present disclosure is not limited thereto.

본 개시의 일 실시예에서, N8(28) 지점은 항공기 소음이 거의 없는 날에 공사장 소음 데이터가 수집 되었으며, 공사장 소음은 항공기 소음과 같이 배경 소음보다 10dB(A)이상 큰 소음일 수 있다. 이러한 공사장 소음 데이터는 가짜 소음 데이터로 학습 데이터에 추가될 수 있다. In one embodiment of the present disclosure, construction site noise data was collected at point N8 (28) on a day when there was little aircraft noise, and construction site noise may be a noise that is 10 dB (A) or more greater than background noise, such as aircraft noise. These construction site noise data can be added to the training data as fake noise data.

도 4 는 본 개시의 일 실시예의 전처리된 음성 이미지 데이터의 일 예시이다. 4 is an example of pre-processed audio image data according to an embodiment of the present disclosure.

프로세서(110)는 음성 데이터를 일축은 음성 데이터의 주파수, 다른 일 축은 시간으로 하는 2 차원 행렬 형태로 변환할 수 있다. 여기서 행렬의 각 성분은 음성 데이터의 각 주파수에 대한 음성 데이터의 각 시간에서의 소음도일 수 있다. 예를 들어서, 프로세서(110)는 음성 데이터를 음성 데이터의 각 열을 1/3 옥타브 밴드로 분석된 36개의 주파수 값으로 하고, 음성 데이터의 각 행을 1 초 간격으로 하며, 각각의 행렬의 값은 해당 시간 해당 주파수의 성분의 소음도로 하는 2차원 행렬 형태로 변환하여 이미지화 할 수 있다. 행렬화 된 이미지 데이터의 행렬의 각 성분은 정규화되어, 상기 음향 데이터는 그레이 스케일 이미지 형태로 전처리될 수 있다. 프로세서(110)는 음성 데이터의 행렬의 각 성분을 소음도의 정도에 따라 예를 들어, 256 단계로 정규화 할 수 있으며, 음향 데이터를 소음 분류 모델에서 처리 가능한 그레이 스케일 이미지 형태로 변환하여, 음성 이미지 데이터를 생성할 수 있다. 도 4 의 예시에서, 식별번호 31 은 배경 소음 데이터를 그레이 스케일 이미지 형태로 변환한 배경 음성 이미지 학습 데이터(31)의 일 예시일 수 있다. 식별 번호 33은 항공기 소음 데이터를 이미지 형태로 변환한 소음 이미지 학습 데이터(33)의 일 예시일 수 있다. 식별 번호 35는 가짜 소음 배경 음성을 이미지화한 가짜 소음 배경 음성 이미지 학습 데이터(35)일 수 있다. 도 4 에 개시된 그레이 스케일 이미지는 예시일 뿐이며 본 개시는 이에 제한되지 않는다. The processor 110 may convert the voice data into a two-dimensional matrix in which one axis is the frequency of the voice data and the other axis is time. Here, each component of the matrix may be a noise level at each time of the voice data for each frequency of the voice data. For example, the processor 110 sets each column of the voice data as 36 frequency values analyzed in 1/3 octave bands for the voice data, sets each row of the voice data at 1 second intervals, and sets each matrix value can be imaged by converting it into a two-dimensional matrix form of the noise level of the component of the corresponding frequency at the corresponding time. Each element of the matrix of the matrixed image data is normalized, and the acoustic data may be pre-processed in the form of a gray scale image. The processor 110 may normalize each component of the matrix of voice data according to the degree of noise level, for example, in 256 steps, converts the acoustic data into a gray scale image form that can be processed by the noise classification model, and converts the audio image data into a gray scale image form. can create In the example of FIG. 4 , identification number 31 may be an example of background audio image learning data 31 obtained by converting background noise data into a gray scale image. Identification number 33 may be an example of noise image learning data 33 obtained by converting aircraft noise data into an image form. The identification number 35 may be fake noise background voice image training data 35 in which the fake noise background voice is imaged. The gray scale image disclosed in FIG. 4 is only an example and the present disclosure is not limited thereto.

도 5는 본 개시의 일 실시예에 따라 인공 신경 네트워크를 나타낸 개략도이다.5 is a schematic diagram showing an artificial neural network according to an embodiment of the present disclosure.

본 명세서에 걸쳐, 연산 모델, 신경망, 네트워크 함수, 뉴럴 네트워크(neural network)는 동일한 의미로 사용될 수 있다. 신경망은 일반적으로 노드라 지칭될 수 있는 상호 연결된 계산 단위들의 집합으로 구성될 수 있다. 이러한 노드들은 뉴런(neuron)들로 지칭될 수도 있다. 신경망은 적어도 하나 이상의 노드들을 포함하여 구성된다. 신경망들을 구성하는 노드(또는 뉴런)들은 하나 이상의 링크에 의해 상호 연결될 수 있다.Throughout this specification, computational model, neural network, network function, and neural network may be used interchangeably. A neural network may consist of a set of interconnected computational units, which may generally be referred to as nodes. These nodes may also be referred to as neurons. A neural network includes one or more nodes. Nodes (or neurons) constituting neural networks may be interconnected by one or more links.

신경망 내에서, 링크를 통해 연결된 하나 이상의 노드들은 상대적으로 입력 노드 및 출력 노드의 관계를 형성할 수 있다. 입력 노드 및 출력 노드의 개념은 상대적인 것으로서, 하나의 노드에 대하여 출력 노드 관계에 있는 임의의 노드는 다른 노드와의 관계에서 입력 노드 관계에 있을 수 있으며, 그 역도 성립할 수 있다. 상술한 바와 같이, 입력 노드 대 출력 노드 관계는 링크를 중심으로 생성될 수 있다. 하나의 입력 노드에 하나 이상의 출력 노드가 링크를 통해 연결될 수 있으며, 그 역도 성립할 수 있다. In a neural network, one or more nodes connected through a link may form a relative relationship of an input node and an output node. The concept of an input node and an output node is relative, and any node in an output node relationship with one node may have an input node relationship with another node, and vice versa. As described above, an input node to output node relationship may be created around a link. More than one output node can be connected to one input node through a link, and vice versa.

하나의 링크를 통해 연결된 입력 노드 및 출력 노드 관계에서, 출력 노드의 데이터는 입력 노드에 입력된 데이터에 기초하여 그 값이 결정될 수 있다. 여기서 입력 노드와 출력 노드를 상호 연결하는 링크는 가중치(weight)를 가질 수 있다. 가중치는 가변적일 수 있으며, 신경망이 원하는 기능을 수행하기 위해, 사용자 또는 알고리즘에 의해 가변 될 수 있다. 예를 들어, 하나의 출력 노드에 하나 이상의 입력 노드가 각각의 링크에 의해 상호 연결된 경우, 출력 노드는 상기 출력 노드와 연결된 입력 노드들에 입력된 값들 및 각각의 입력 노드들에 대응하는 링크에 설정된 가중치에 기초하여 출력 노드 값을 결정할 수 있다.In a relationship between an input node and an output node connected through one link, the value of data of the output node may be determined based on data input to the input node. Here, a link interconnecting an input node and an output node may have a weight. The weight may be variable, and may be changed by a user or an algorithm in order to perform a function desired by the neural network. For example, when one or more input nodes are interconnected by respective links to one output node, the output node is set to a link corresponding to values input to input nodes connected to the output node and respective input nodes. An output node value may be determined based on the weight.

상술한 바와 같이, 신경망은 하나 이상의 노드들이 하나 이상의 링크를 통해 상호 연결되어 신경망 내에서 입력 노드 및 출력 노드 관계를 형성한다. 신경망 내에서 노드들과 링크들의 개수 및 노드들과 링크들 사이의 연관관계, 링크들 각각에 부여된 가중치의 값에 따라, 신경망의 특성이 결정될 수 있다. 예를 들어, 동일한 개수의 노드 및 링크들이 존재하고, 링크들의 가중치 값이 상이한 두 신경망이 존재하는 경우, 두 개의 신경망들은 서로 상이한 것으로 인식될 수 있다.As described above, in the neural network, one or more nodes are interconnected through one or more links to form an input node and output node relationship in the neural network. Characteristics of the neural network may be determined according to the number of nodes and links in the neural network, an association between the nodes and links, and a weight value assigned to each link. For example, when there are two neural networks having the same number of nodes and links and different weight values of the links, the two neural networks may be recognized as different from each other.

신경망은 하나 이상의 노드들의 집합으로 구성될 수 있다. 신경망을 구성하는 노드들의 부분 집합은 레이어(layer)를 구성할 수 있다. 신경망을 구성하는 노드들 중 일부는, 최초 입력 노드로부터의 거리들에 기초하여, 하나의 레이어(layer)를 구성할 수 있다. 예를 들어, 최초 입력 노드로부터 거리가 n인 노드들의 집합은, n 레이어를 구성할 수 있다. 최초 입력 노드로부터 거리는, 최초 입력 노드로부터 해당 노드까지 도달하기 위해 거쳐야 하는 링크들의 최소 개수에 의해 정의될 수 있다. 그러나, 이러한 레이어의 정의는 설명을 위한 임의적인 것으로서, 신경망 내에서 레이어의 차수는 상술한 것과 상이한 방법으로 정의될 수 있다. 예를 들어, 노드들의 레이어는 최종 출력 노드로부터 거리에 의해 정의될 수도 있다.A neural network may be composed of a set of one or more nodes. A subset of nodes constituting a neural network may constitute a layer. Some of the nodes constituting the neural network may form one layer based on distances from the first input node. For example, a set of nodes having a distance of n from the first input node may constitute n layers. The distance from the first input node may be defined by the minimum number of links that must be passed through to reach the corresponding node from the first input node. However, the definition of such a layer is arbitrary for explanation, and the order of a layer in a neural network may be defined in a method different from the above. For example, a layer of nodes may be defined by a distance from a final output node.

최초 입력 노드는 신경망 내의 노드들 중 다른 노드들과의 관계에서 링크를 거치지 않고 데이터가 직접 입력되는 하나 이상의 노드들을 의미할 수 있다. 또는, 신경망 네트워크 내에서, 링크를 기준으로 한 노드 간의 관계에 있어서, 링크로 연결된 다른 입력 노드들을 가지지 않는 노드들을 의미할 수 있다. 이와 유사하게, 최종 출력 노드는 신경망 내의 노드들 중 다른 노드들과의 관계에서, 출력 노드를 가지지 않는 하나 이상의 노드들을 의미할 수 있다. 또한, 히든 노드는 최초 입력 노드 및 최후 출력 노드가 아닌 신경망을 구성하는 노드들을 의미할 수 있다. An initial input node may refer to one or more nodes to which data is directly input without going through a link in relation to other nodes among nodes in the neural network. Alternatively, in a relationship between nodes based on a link in a neural network, it may mean nodes that do not have other input nodes connected by a link. Similarly, the final output node may refer to one or more nodes that do not have an output node in relation to other nodes among nodes in the neural network. Also, the hidden node may refer to nodes constituting the neural network other than the first input node and the last output node.

본 개시의 일 실시예에 따른 신경망은 입력 레이어의 노드의 개수가 출력 레이어의 노드의 개수와 동일할 수 있으며, 입력 레이어에서 히든 레이어로 진행됨에 따라 노드의 수가 감소하다가 다시 증가하는 형태의 신경망일 수 있다. 또한, 본 개시의 다른 일 실시예에 따른 신경망은 입력 레이어의 노드의 개수가 출력 레이어의 노드의 개수 보다 적을 수 있으며, 입력 레이어에서 히든 레이어로 진행됨에 따라 노드의 수가 감소하는 형태의 신경망일 수 있다. 또한, 본 개시의 또 다른 일 실시예에 따른 신경망은 입력 레이어의 노드의 개수가 출력 레이어의 노드의 개수보다 많을 수 있으며, 입력 레이어에서 히든 레이어로 진행됨에 따라 노드의 수가 증가하는 형태의 신경망일 수 있다. 본 개시의 또 다른 일 실시예에 따른 신경망은 상술한 신경망들의 조합된 형태의 신경망일 수 있다.In the neural network according to an embodiment of the present disclosure, the number of nodes in the input layer may be the same as the number of nodes in the output layer, and the number of nodes decreases and then increases again as the number of nodes progresses from the input layer to the hidden layer. can In addition, the neural network according to another embodiment of the present disclosure may be a neural network in which the number of nodes of the input layer may be less than the number of nodes of the output layer and the number of nodes decreases as the number of nodes increases from the input layer to the hidden layer. there is. In addition, the neural network according to another embodiment of the present disclosure is a neural network in which the number of nodes in the input layer may be greater than the number of nodes in the output layer, and the number of nodes increases as the number of nodes increases from the input layer to the hidden layer. can A neural network according to another embodiment of the present disclosure may be a neural network in the form of a combination of the aforementioned neural networks.

딥 뉴럴 네트워크(DNN: deep neural network, 심층신경망)는 입력 레이어와 출력 레이어 외에 복수의 히든 레이어를 포함하는 신경망을 의미할 수 있다. 딥 뉴럴 네트워크를 이용하면 데이터의 잠재적인 구조(latent structures)를 파악할 수 있다. 즉, 사진, 글, 비디오, 음성, 음악의 잠재적인 구조(예를 들어, 어떤 물체가 사진에 있는지, 글의 내용과 감정이 무엇인지, 음성의 내용과 감정이 무엇인지 등)를 파악할 수 있다. 딥 뉴럴 네트워크는 컨볼루션 뉴럴 네트워크(CNN: convolutional neural network), 리커런트 뉴럴 네트워크(RNN: recurrent neural network), 오토 인코더(auto encoder), GAN(Generative Adversarial Networks), 제한 볼츠만 머신(RBM: restricted boltzmann machine), 심층 신뢰 네트워크(DBN: deep belief network), Q 네트워크, U 네트워크, 샴 네트워크, 적대적 생성 네트워크(GAN: Generative Adversarial Network) 등을 포함할 수 있다. 전술한 딥 뉴럴 네트워크의 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않는다. A deep neural network (DNN) may refer to a neural network including a plurality of hidden layers in addition to an input layer and an output layer. Deep neural networks can reveal latent structures in data. In other words, it can identify the latent structure of a photo, text, video, sound, or music (e.g., what objects are in the photo, what the content and emotion of the text are, what the content and emotion of the audio are, etc.). . Deep neural networks include convolutional neural networks (CNNs), recurrent neural networks (RNNs), auto encoders, generative adversarial networks (GANs), and restricted boltzmann machines (RBMs). machine), a deep belief network (DBN), a Q network, a U network, a Siamese network, a Generative Adversarial Network (GAN), and the like. The description of the deep neural network described above is only an example, and the present disclosure is not limited thereto.

본 개시의 일 실시예에서 네트워크 함수는 오토 인코더(autoencoder)를 포함할 수도 있다. 오토 인코더는 입력 데이터와 유사한 출력 데이터를 출력하기 위한 인공 신경망의 일종일 수 있다. 오토 인코더는 적어도 하나의 히든 레이어를 포함할 수 있으며, 홀수 개의 히든 레이어가 입출력 레이어 사이에 배치될 수 있다. 각각의 레이어의 노드의 수는 입력 레이어의 노드의 수에서 병목 레이어(인코딩)라는 중간 레이어로 축소되었다가, 병목 레이어에서 출력 레이어(입력 레이어와 대칭)로 축소와 대칭되어 확장될 수도 있다. 오토 인코더는 비선형 차원 감소를 수행할 수 있다. 입력 레이어 및 출력 레이어의 수는 입력 데이터의 전처리 이후에 차원과 대응될 수 있다. 오토 인코더 구조에서 인코더에 포함된 히든 레이어의 노드의 수는 입력 레이어에서 멀어질수록 감소하는 구조를 가질 수 있다. 병목 레이어(인코더와 디코더 사이에 위치하는 가장 적은 노드를 가진 레이어)의 노드의 수는 너무 작은 경우 충분한 양의 정보가 전달되지 않을 수 있으므로, 특정 수 이상(예를 들어, 입력 레이어의 절반 이상 등)으로 유지될 수도 있다.In one embodiment of the present disclosure, the network function may include an autoencoder. An autoencoder may be a type of artificial neural network for outputting output data similar to input data. An auto-encoder may include at least one hidden layer, and an odd number of hidden layers may be disposed between input and output layers. The number of nodes of each layer may be reduced from the number of nodes of the input layer to an intermediate layer called the bottleneck layer (encoding), and then expanded symmetrically with the reduction from the bottleneck layer to the output layer (symmetrical to the input layer). Autoencoders can perform non-linear dimensionality reduction. The number of input layers and output layers may correspond to dimensions after preprocessing of input data. In the auto-encoder structure, the number of hidden layer nodes included in the encoder may decrease as the distance from the input layer increases. If the number of nodes in the bottleneck layer (the layer with the fewest nodes located between the encoder and decoder) is too small, a sufficient amount of information may not be conveyed, so more than a certain number (e.g., more than half of the input layer, etc.) ) may be maintained.

뉴럴 네트워크는 교사 학습(supervised learning), 비교사 학습(unsupervised learning), 반교사학습(semi supervised learning), 또는 강화학습(reinforcement learning) 중 적어도 하나의 방식으로 학습될 수 있다. 뉴럴 네트워크의 학습은 뉴럴 네트워크가 특정한 동작을 수행하기 위한 지식을 뉴럴 네트워크에 적용하는 과정일 수 있다. The neural network may be trained using at least one of supervised learning, unsupervised learning, semi-supervised learning, and reinforcement learning. Learning of the neural network may be a process of applying knowledge for the neural network to perform a specific operation to the neural network.

뉴럴 네트워크는 출력의 오류를 최소화하는 방향으로 학습될 수 있다. 뉴럴 네트워크의 학습에서 반복적으로 학습 데이터를 뉴럴 네트워크에 입력시키고 학습 데이터에 대한 뉴럴 네트워크의 출력과 타겟의 에러를 계산하고, 에러를 줄이기 위한 방향으로 뉴럴 네트워크의 에러를 뉴럴 네트워크의 출력 레이어에서부터 입력 레이어 방향으로 역전파(backpropagation)하여 뉴럴 네트워크의 각 노드의 가중치를 업데이트 하는 과정이다. 교사 학습의 경우 각각의 학습 데이터에 정답이 라벨링되어있는 학습 데이터를 사용하며(즉, 라벨링된 학습 데이터), 비교사 학습의 경우는 각각의 학습 데이터에 정답이 라벨링되어 있지 않을 수 있다. 즉, 예를 들어 데이터 분류에 관한 교사 학습의 경우의 학습 데이터는 학습 데이터 각각에 카테고리가 라벨링 된 데이터 일 수 있다. 라벨링된 학습 데이터가 뉴럴 네트워크에 입력되고, 뉴럴 네트워크의 출력(카테고리)과 학습 데이터의 라벨을 비교함으로써 오류(error)가 계산될 수 있다. 다른 예로, 데이터 분류에 관한 비교사 학습의 경우 입력인 학습 데이터가 뉴럴 네트워크 출력과 비교됨으로써 오류가 계산될 수 있다. 계산된 오류는 뉴럴 네트워크에서 역방향(즉, 출력 레이어에서 입력 레이어 방향)으로 역전파 되며, 역전파에 따라 뉴럴 네트워크의 각 레이어의 각 노드들의 연결 가중치가 업데이트 될 수 있다. 업데이트 되는 각 노드의 연결 가중치는 학습률(learning rate)에 따라 변화량이 결정될 수 있다. 입력 데이터에 대한 뉴럴 네트워크의 계산과 에러의 역전파는 학습 사이클(epoch)을 구성할 수 있다. 학습률은 뉴럴 네트워크의 학습 사이클의 반복 횟수에 따라 상이하게 적용될 수 있다. 예를 들어, 뉴럴 네트워크의 학습 초기에는 높은 학습률을 사용하여 뉴럴 네트워크가 빠르게 일정 수준의 성능을 확보하도록 하여 효율성을 높이고, 학습 후기에는 낮은 학습률을 사용하여 정확도를 높일 수 있다.A neural network can be trained in a way that minimizes output errors. In the learning of the neural network, the learning data is repeatedly input into the neural network, the output of the neural network for the training data and the error of the target are calculated, and the error of the neural network is transferred from the output layer of the neural network to the input layer in the direction of reducing the error. It is a process of updating the weight of each node of the neural network by backpropagating in the same direction. In the case of teacher learning, the learning data in which the correct answer is labeled is used for each learning data (ie, the labeled learning data), and in the case of comparative teacher learning, the correct answer may not be labeled in each learning data. That is, for example, learning data in the case of teacher learning regarding data classification may be data in which each learning data is labeled with a category. Labeled training data is input to a neural network, and an error may be calculated by comparing an output (category) of the neural network and a label of the training data. As another example, in the case of comparative history learning for data classification, an error may be calculated by comparing input learning data with a neural network output. The calculated error is back-propagated in a reverse direction (ie, from the output layer to the input layer) in the neural network, and the connection weight of each node of each layer of the neural network may be updated according to the back-propagation. The amount of change in the connection weight of each updated node may be determined according to a learning rate. The neural network's computation of input data and backpropagation of errors can constitute a learning cycle (epoch). The learning rate may be applied differently according to the number of iterations of the learning cycle of the neural network. For example, a high learning rate may be used in the early stage of neural network training to increase efficiency by allowing the neural network to quickly obtain a certain level of performance, and a low learning rate may be used in the late stage to increase accuracy.

뉴럴 네트워크의 학습에서 일반적으로 학습 데이터는 실제 데이터(즉, 학습된 뉴럴 네트워크를 이용하여 처리하고자 하는 데이터)의 부분집합일 수 있으며, 따라서, 학습 데이터에 대한 오류는 감소하나 실제 데이터에 대해서는 오류가 증가하는 학습 사이클이 존재할 수 있다. 과적합(overfitting)은 이와 같이 학습 데이터에 과하게 학습하여 실제 데이터에 대한 오류가 증가하는 현상이다. 예를 들어, 노란색 고양이를 보여 고양이를 학습한 뉴럴 네트워크가 노란색 이외의 고양이를 보고는 고양이임을 인식하지 못하는 현상이 과적합의 일종일 수 있다. 과적합은 머신러닝 알고리즘의 오류를 증가시키는 원인으로 작용할 수 있다. 이러한 과적합을 막기 위하여 다양한 최적화 방법이 사용될 수 있다. 과적합을 막기 위해서는 학습 데이터를 증가시키거나, 레귤라이제이션(regularization), 학습의 과정에서 네트워크의 노드 일부를 비활성화하는 드롭아웃(dropout), 배치 정규화 레이어(batch normalization layer)의 활용 등의 방법이 적용될 수 있다.In neural network learning, generally, training data can be a subset of real data (ie, data to be processed using the trained neural network), and therefore, errors for training data are reduced, but errors for real data are reduced. There may be incremental learning cycles. Overfitting is a phenomenon in which errors for actual data increase due to excessive learning on training data. For example, a phenomenon in which a neural network that has learned a cat by showing a yellow cat does not recognize that it is a cat when it sees a cat other than yellow may be a type of overfitting. Overfitting can act as a cause of increasing the error of machine learning algorithms. Various optimization methods can be used to prevent such overfitting. To prevent overfitting, methods such as increasing the training data, regularization, inactivating some nodes in the network during learning, and using a batch normalization layer should be applied. can

도 6는 본 개시의 실시예들이 구현될 수 있는 예시적인 컴퓨팅 환경에 대한 략하고 일반적인 개략도이다.6 is a brief and general schematic diagram of an exemplary computing environment in which embodiments of the present disclosure may be implemented.

본 개시가 일반적으로 컴퓨팅 장치에 의해 구현될 수 있는 것으로 전술되었지만, 당업자라면 본 개시가 하나 이상의 컴퓨터 상에서 실행될 수 있는 컴퓨터 실행가능 명령어 및/또는 기타 프로그램 모듈들과 결합되어 및/또는 하드웨어와 소프트웨어의 조합으로써 구현될 수 있다는 것을 잘 알 것이다.Although the present disclosure has been described above as being generally embodied by a computing device, those skilled in the art will understand that the present disclosure may be combined with computer-executable instructions and/or other program modules that may be executed on one or more computers and/or may be implemented in hardware and software. It will be appreciated that it can be implemented as a combination.

일반적으로, 프로그램 모듈은 특정의 태스크를 수행하거나 특정의 추상 데이터 유형을 구현하는 루틴, 프로그램, 컴포넌트, 데이터 구조, 기타 등등을 포함한다. 또한, 당업자라면 본 개시의 방법이 단일-프로세서 또는 멀티프로세서 컴퓨터 시스템, 미니컴퓨터, 메인프레임 컴퓨터는 물론 퍼스널 컴퓨터, 핸드헬드(handheld) 컴퓨팅 장치, 마이크로프로세서-기반 또는 프로그램가능 가전 제품, 기타 등등(이들 각각은 하나 이상의 연관된 장치와 연결되어 동작할 수 있음)을 비롯한 다른 컴퓨터 시스템 구성으로 실시될 수 있다는 것을 잘 알 것이다.Generally, program modules include routines, programs, components, data structures, etc. that perform particular tasks or implement particular abstract data types. In addition, those skilled in the art will understand that the methods of the present disclosure can be applied to single-processor or multiprocessor computer systems, minicomputers, mainframe computers as well as personal computers, handheld computing devices, microprocessor-based or programmable consumer electronics, and the like ( It will be appreciated that each of these may be implemented with other computer system configurations, including those that may be operative in connection with one or more associated devices.

본 개시의 설명된 실시예들은 또한 어떤 태스크들이 통신 네트워크를 통해 연결되어 있는 원격 처리 장치들에 의해 수행되는 분산 컴퓨팅 환경에서 실시될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 저장 장치 둘 다에 위치할 수 있다.The described embodiments of the present disclosure may also be practiced in distributed computing environments where certain tasks are performed by remote processing devices that are linked through a communications network. In a distributed computing environment, program modules may be located in both local and remote memory storage devices.

컴퓨터는 통상적으로 다양한 컴퓨터 판독가능 매체를 포함한다. 컴퓨터에 의해 액세스 가능한 매체는 그 어떤 것이든지 컴퓨터 판독가능 매체가 될 수 있고, 이러한 컴퓨터 판독가능 매체는 휘발성 및 비휘발성 매체, 일시적(transitory) 및 비일시적(non-transitory) 매체, 이동식 및 비-이동식 매체를 포함한다. 제한이 아닌 예로서, 컴퓨터 판독가능 매체는 컴퓨터 판독가능 저장 매체 및 컴퓨터 판독가능 전송 매체를 포함할 수 있다. 컴퓨터 판독가능 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보를 저장하는 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성 매체, 일시적 및 비-일시적 매체, 이동식 및 비이동식 매체를 포함한다. 컴퓨터 판독가능 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital video disk) 또는 기타 광 디스크 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 컴퓨터에 의해 액세스될 수 있고 원하는 정보를 저장하는 데 사용될 수 있는 임의의 기타 매체를 포함하지만, 이에 한정되지 않는다.Computers typically include a variety of computer readable media. Computer readable media can be any medium that can be accessed by a computer, including volatile and nonvolatile media, transitory and non-transitory media, removable and non-transitory media. Includes removable media. By way of example, and not limitation, computer readable media may include computer readable storage media and computer readable transmission media. Computer readable storage media are volatile and nonvolatile media, transitory and non-transitory, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. includes media Computer readable storage media may include RAM, ROM, EEPROM, flash memory or other memory technology, CD-ROM, digital video disk (DVD) or other optical disk storage device, magnetic cassette, magnetic tape, magnetic disk storage device or other magnetic storage device. device, or any other medium that can be accessed by a computer and used to store desired information.

컴퓨터 판독가능 전송 매체는 통상적으로 반송파(carrier wave) 또는 기타 전송 메커니즘(transport mechanism)과 같은 피변조 데이터 신호(modulated data signal)에 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터 등을 구현하고 모든 정보 전달 매체를 포함한다. 피변조 데이터 신호라는 용어는 신호 내에 정보를 인코딩하도록 그 신호의 특성들 중 하나 이상을 설정 또는 변경시킨 신호를 의미한다. 제한이 아닌 예로서, 컴퓨터 판독가능 전송 매체는 유선 네트워크 또는 직접 배선 접속(direct-wired connection)과 같은 유선 매체, 그리고 음향, RF, 적외선, 기타 무선 매체와 같은 무선 매체를 포함한다. 상술된 매체들 중 임의의 것의 조합도 역시 컴퓨터 판독가능 전송 매체의 범위 안에 포함되는 것으로 한다.A computer readable transmission medium typically embodies computer readable instructions, data structures, program modules or other data in a modulated data signal such as a carrier wave or other transport mechanism. Including all information delivery media. The term modulated data signal means a signal that has one or more of its characteristics set or changed so as to encode information within the signal. By way of example, and not limitation, computer readable transmission media includes wired media such as a wired network or direct-wired connection, and wireless media such as acoustic, RF, infrared, and other wireless media. Combinations of any of the above are also intended to be included within the scope of computer readable transmission media.

컴퓨터(1102)를 포함하는 본 개시의 여러가지 측면들을 구현하는 예시적인 환경(1100)이 나타내어져 있으며, 컴퓨터(1102)는 처리 장치(1104), 시스템 메모리(1106) 및 시스템 버스(1108)를 포함한다. 시스템 버스(1108)는 시스템 메모리(1106)(이에 한정되지 않음)를 비롯한 시스템 컴포넌트들을 처리 장치(1104)에 연결시킨다. 처리 장치(1104)는 다양한 상용 프로세서들 중 임의의 프로세서일 수 있다. 듀얼 프로세서 및 기타 멀티프로세서 아키텍처도 역시 처리 장치(1104)로서 이용될 수 있다.An exemplary environment 1100 implementing various aspects of the present disclosure is shown including a computer 1102, which includes a processing unit 1104, a system memory 1106, and a system bus 1108. do. System bus 1108 couples system components, including but not limited to system memory 1106 , to processing unit 1104 . Processing unit 1104 may be any of a variety of commercially available processors. Dual processor and other multiprocessor architectures may also be used as the processing unit 1104.

시스템 버스(1108)는 메모리 버스, 주변장치 버스, 및 다양한 상용 버스 아키텍처 중 임의의 것을 사용하는 로컬 버스에 추가적으로 상호 연결될 수 있는 몇 가지 유형의 버스 구조 중 임의의 것일 수 있다. 시스템 메모리(1106)는 판독 전용 메모리(ROM)(1110) 및 랜덤 액세스 메모리(RAM)(1112)를 포함한다. 기본 입/출력 시스템(BIOS)은 ROM, EPROM, EEPROM 등의 비휘발성 메모리(1110)에 저장되며, 이 BIOS는 시동 중과 같은 때에 컴퓨터(1102) 내의 구성요소들 간에 정보를 전송하는 일을 돕는 기본적인 루틴을 포함한다. RAM(1112)은 또한 데이터를 캐싱하기 위한 정적 RAM 등의 고속 RAM을 포함할 수 있다.System bus 1108 may be any of several types of bus structures that may additionally be interconnected to a memory bus, a peripheral bus, and a local bus using any of a variety of commercial bus architectures. System memory 1106 includes read only memory (ROM) 1110 and random access memory (RAM) 1112 . A basic input/output system (BIOS) is stored in non-volatile memory 1110, such as ROM, EPROM, or EEPROM, and is a basic set of information that helps transfer information between components within computer 1102, such as during startup. contains routines. RAM 1112 may also include high-speed RAM, such as static RAM, for caching data.

컴퓨터(1102)는 또한 내장형 하드 디스크 드라이브(HDD)(1114)(예를 들어, EIDE, SATA)－이 내장형 하드 디스크 드라이브(1114)는 또한 적당한 섀시(도시 생략) 내에서 외장형 용도로 구성될 수 있음－, 자기 플로피 디스크 드라이브(FDD)(1116)(예를 들어, 이동식 디스켓(1118)으로부터 판독을 하거나 그에 기록을 하기 위한 것임), 및 광 디스크 드라이브(1120)(예를 들어, CD-ROM 디스크(1122)를 판독하거나 DVD 등의 기타 고용량 광 매체로부터 판독을 하거나 그에 기록을 하기 위한 것임)를 포함한다. 하드 디스크 드라이브(1114), 자기 디스크 드라이브(1116) 및 광 디스크 드라이브(1120)는 각각 하드 디스크 드라이브 인터페이스(1124), 자기 디스크 드라이브 인터페이스(1126) 및 광 드라이브 인터페이스(1128)에 의해 시스템 버스(1108)에 연결될 수 있다. 외장형 드라이브 구현을 위한 인터페이스(1124)는 USB(Universal Serial Bus) 및 IEEE 1394 인터페이스 기술 중 적어도 하나 또는 그 둘 다를 포함한다.The computer 1102 may also include an internal hard disk drive (HDD) 1114 (eg, EIDE, SATA) - the internal hard disk drive 1114 may also be configured for external use within a suitable chassis (not shown). Yes—a magnetic floppy disk drive (FDD) 1116 (e.g., for reading from or writing to a removable diskette 1118), and an optical disk drive 1120 (e.g., a CD-ROM) for reading disc 1122 or reading from or writing to other high capacity optical media such as DVDs). The hard disk drive 1114, magnetic disk drive 1116, and optical disk drive 1120 are connected to the system bus 1108 by a hard disk drive interface 1124, magnetic disk drive interface 1126, and optical drive interface 1128, respectively. ) can be connected to The interface 1124 for external drive implementation includes at least one or both of USB (Universal Serial Bus) and IEEE 1394 interface technologies.

이들 드라이브 및 그와 연관된 컴퓨터 판독가능 매체는 데이터, 데이터 구조, 컴퓨터 실행가능 명령어, 기타 등등의 비휘발성 저장을 제공한다. 컴퓨터(1102)의 경우, 드라이브 및 매체는 임의의 데이터를 적당한 디지털 형식으로 저장하는 것에 대응한다. 상기에서의 컴퓨터 판독가능 매체에 대한 설명이 HDD, 이동식 자기 디스크, 및 CD 또는 DVD 등의 이동식 광 매체를 언급하고 있지만, 당업자라면 집 드라이브(zip drive), 자기 카세트, 플래쉬 메모리 카드, 카트리지, 기타 등등의 컴퓨터에 의해 판독가능한 다른 유형의 매체도 역시 예시적인 운영 환경에서 사용될 수 있으며 또 임의의 이러한 매체가 본 개시의 방법들을 수행하기 위한 컴퓨터 실행가능 명령어를 포함할 수 있다는 것을 잘 알 것이다.These drives and their associated computer readable media provide non-volatile storage of data, data structures, computer executable instructions, and the like. In the case of computer 1102, drives and media correspond to storing any data in a suitable digital format. Although the description of computer readable media above refers to HDDs, removable magnetic disks, and removable optical media such as CDs or DVDs, those skilled in the art can use zip drives, magnetic cassettes, flash memory cards, cartridges, etc. It will be appreciated that other tangible media readable by the computer, such as the like, may also be used in the exemplary operating environment and any such media may include computer executable instructions for performing the methods of the present disclosure.

운영 체제(1130), 하나 이상의 애플리케이션 프로그램(1132), 기타 프로그램 모듈(1134) 및 프로그램 데이터(1136)를 비롯한 다수의 프로그램 모듈이 드라이브 및 RAM(1112)에 저장될 수 있다. 운영 체제, 애플리케이션, 모듈 및/또는 데이터의 전부 또는 그 일부분이 또한 RAM(1112)에 캐싱될 수 있다. 본 개시가 여러가지 상업적으로 이용가능한 운영 체제 또는 운영 체제들의 조합에서 구현될 수 있다는 것을 잘 알 것이다.A number of program modules may be stored on the drive and RAM 1112, including an operating system 1130, one or more application programs 1132, other program modules 1134, and program data 1136. All or portions of the operating system, applications, modules and/or data may also be cached in RAM 1112. It will be appreciated that the present disclosure may be implemented in a variety of commercially available operating systems or combinations of operating systems.

사용자는 하나 이상의 유선/무선 입력 장치, 예를 들어, 키보드(1138) 및 마우스(1140) 등의 포인팅 장치를 통해 컴퓨터(1102)에 명령 및 정보를 입력할 수 있다. 기타 입력 장치(도시 생략)로는 마이크, IR 리모콘, 조이스틱, 게임 패드, 스타일러스 펜, 터치 스크린, 기타 등등이 있을 수 있다. 이들 및 기타 입력 장치가 종종 시스템 버스(1108)에 연결되어 있는 입력 장치 인터페이스(1142)를 통해 처리 장치(1104)에 연결되지만, 병렬 포트, IEEE 1394 직렬 포트, 게임 포트, USB 포트, IR 인터페이스, 기타 등등의 기타 인터페이스에 의해 연결될 수 있다.A user may enter commands and information into the computer 1102 through one or more wired/wireless input devices, such as a keyboard 1138 and a pointing device such as a mouse 1140. Other input devices (not shown) may include a microphone, IR remote control, joystick, game pad, stylus pen, touch screen, and the like. Although these and other input devices are often connected to the processing unit 1104 through an input device interface 1142 that is connected to the system bus 1108, a parallel port, IEEE 1394 serial port, game port, USB port, IR interface, may be connected by other interfaces such as the like.

모니터(1144) 또는 다른 유형의 디스플레이 장치도 역시 비디오 어댑터(1146) 등의 인터페이스를 통해 시스템 버스(1108)에 연결된다. 모니터(1144)에 부가하여, 컴퓨터는 일반적으로 스피커, 프린터, 기타 등등의 기타 주변 출력 장치(도시 생략)를 포함한다.A monitor 1144 or other type of display device is also connected to the system bus 1108 through an interface such as a video adapter 1146. In addition to the monitor 1144, computers typically include other peripheral output devices (not shown) such as speakers, printers, and the like.

컴퓨터(1102)는 유선 및/또는 무선 통신을 통한 원격 컴퓨터(들)(1148) 등의 하나 이상의 원격 컴퓨터로의 논리적 연결을 사용하여 네트워크화된 환경에서 동작할 수 있다. 원격 컴퓨터(들)(1148)는 워크스테이션, 컴퓨팅 디바이스 컴퓨터, 라우터, 퍼스널 컴퓨터, 휴대용 컴퓨터, 마이크로프로세서-기반 오락 기기, 피어 장치 또는 기타 통상의 네트워크 노드일 수 있으며, 일반적으로 컴퓨터(1102)에 대해 기술된 구성요소들 중 다수 또는 그 전부를 포함하지만, 간략함을 위해, 메모리 저장 장치(1150)만이 도시되어 있다. 도시되어 있는 논리적 연결은 근거리 통신망(LAN)(1152) 및/또는 더 큰 네트워크, 예를 들어, 원거리 통신망(WAN)(1154)에의 유선/무선 연결을 포함한다. 이러한 LAN 및 WAN 네트워킹 환경은 사무실 및 회사에서 일반적인 것이며, 인트라넷 등의 전사적 컴퓨터 네트워크(enterprise-wide computer network)를 용이하게 해주며, 이들 모두는 전세계 컴퓨터 네트워크, 예를 들어, 인터넷에 연결될 수 있다.Computer 1102 may operate in a networked environment using logical connections to one or more remote computers, such as remote computer(s) 1148 via wired and/or wireless communications. Remote computer(s) 1148 may be a workstation, computing device computer, router, personal computer, handheld computer, microprocessor-based entertainment device, peer device, or other common network node, and generally includes It includes many or all of the components described for, but for simplicity, only memory storage device 1150 is shown. The logical connections shown include wired/wireless connections to a local area network (LAN) 1152 and/or a larger network, such as a wide area network (WAN) 1154 . Such LAN and WAN networking environments are common in offices and corporations and facilitate enterprise-wide computer networks, such as intranets, all of which can be connected to worldwide computer networks, such as the Internet.

LAN 네트워킹 환경에서 사용될 때, 컴퓨터(1102)는 유선 및/또는 무선 통신 네트워크 인터페이스 또는 어댑터(1156)를 통해 로컬 네트워크(1152)에 연결된다. 어댑터(1156)는 LAN(1152)에의 유선 또는 무선 통신을 용이하게 해줄 수 있으며, 이 LAN(1152)은 또한 무선 어댑터(1156)와 통신하기 위해 그에 설치되어 있는 무선 액세스 포인트를 포함하고 있다. WAN 네트워킹 환경에서 사용될 때, 컴퓨터(1102)는 모뎀(1158)을 포함할 수 있거나, WAN(1154) 상의 통신 컴퓨팅 디바이스에 연결되거나, 또는 인터넷을 통하는 등, WAN(1154)을 통해 통신을 설정하는 기타 수단을 갖는다. 내장형 또는 외장형 및 유선 또는 무선 장치일 수 있는 모뎀(1158)은 직렬 포트 인터페이스(1142)를 통해 시스템 버스(1108)에 연결된다. 네트워크화된 환경에서, 컴퓨터(1102)에 대해 설명된 프로그램 모듈들 또는 그의 일부분이 원격 메모리/저장 장치(1150)에 저장될 수 있다. 도시된 네트워크 연결이 예시적인 것이며 컴퓨터들 사이에 통신 링크를 설정하는 기타 수단이 사용될 수 있다는 것을 잘 알 것이다.When used in a LAN networking environment, computer 1102 connects to local network 1152 through wired and/or wireless communication network interfaces or adapters 1156. Adapter 1156 may facilitate wired or wireless communications to LAN 1152, which also includes a wireless access point installed therein to communicate with wireless adapter 1156. When used in a WAN networking environment, computer 1102 may include a modem 1158, be connected to a communicating computing device on WAN 1154, or establish communications over WAN 1154, such as over the Internet. have other means. A modem 1158, which may be internal or external and a wired or wireless device, is connected to the system bus 1108 through a serial port interface 1142. In a networked environment, program modules described for computer 1102, or portions thereof, may be stored on remote memory/storage device 1150. It will be appreciated that the network connections shown are exemplary and other means of establishing a communication link between computers may be used.

컴퓨터(1102)는 무선 통신으로 배치되어 동작하는 임의의 무선 장치 또는 개체, 예를 들어, 프린터, 스캐너, 데스크톱 및/또는 휴대용 컴퓨터, PDA(portable data assistant), 통신 위성, 무선 검출가능 태그와 연관된 임의의 장비 또는 장소, 및 전화와 통신을 하는 동작을 한다. 이것은 적어도 Wi-Fi 및 블루투스 무선 기술을 포함한다. 따라서, 통신은 종래의 네트워크에서와 같이 미리 정의된 구조이거나 단순하게 적어도 2개의 장치 사이의 애드혹 통신(ad hoc communication)일 수 있다.Computer 1102 is any wireless device or entity that is deployed and operating in wireless communication, eg, printers, scanners, desktop and/or portable computers, portable data assistants (PDAs), communication satellites, wireless detectable tags associated with It operates to communicate with arbitrary equipment or places and telephones. This includes at least Wi-Fi and Bluetooth wireless technologies. Thus, the communication may be a predefined structure as in conventional networks or simply an ad hoc communication between at least two devices.

Wi-Fi(Wireless Fidelity)는 유선 없이도 인터넷 등으로의 연결을 가능하게 해준다. Wi-Fi는 이러한 장치, 예를 들어, 컴퓨터가 실내에서 및 실외에서, 즉 기지국의 통화권 내의 아무 곳에서나 데이터를 전송 및 수신할 수 있게 해주는 셀 전화와 같은 무선 기술이다. Wi-Fi 네트워크는 안전하고 신뢰성 있으며 고속인 무선 연결을 제공하기 위해 IEEE 802.11(a, b, g, 기타)이라고 하는 무선 기술을 사용한다. 컴퓨터를 서로에, 인터넷에 및 유선 네트워크(IEEE 802.3 또는 이더넷을 사용함)에 연결시키기 위해 Wi-Fi가 사용될 수 있다. Wi-Fi 네트워크는 비인가 2.4 및 5GHz 무선 대역에서, 예를 들어, 11Mbps(802.11a) 또는 54 Mbps(802.11b) 데이터 레이트로 동작하거나, 양 대역(듀얼 대역)을 포함하는 제품에서 동작할 수 있다.Wi-Fi (Wireless Fidelity) makes it possible to connect to the Internet without wires. Wi-Fi is a wireless technology, such as a cell phone, that allows such devices, eg, computers, to transmit and receive data both indoors and outdoors, i.e. anywhere within coverage of a base station. Wi-Fi networks use a radio technology called IEEE 802.11 (a, b, g, etc.) to provide secure, reliable, and high-speed wireless connections. Wi-Fi can be used to connect computers to each other, to the Internet, and to wired networks (using IEEE 802.3 or Ethernet). Wi-Fi networks can operate in the unlicensed 2.4 and 5 GHz radio bands, for example, at 11 Mbps (802.11a) or 54 Mbps (802.11b) data rates, or in products that include both bands (dual band) .

본 개시의 기술 분야에서 통상의 지식을 가진 자는 정보 및 신호들이 임의의 다양한 상이한 기술들 및 기법들을 이용하여 표현될 수 있다는 것을 이해할 것이다. 예를 들어, 위의 설명에서 참조될 수 있는 데이터, 지시들, 명령들, 정보, 신호들, 비트들, 심볼들 및 칩들은 전압들, 전류들, 전자기파들, 자기장들 또는 입자들, 광학장들 또는 입자들, 또는 이들의 임의의 결합에 의해 표현될 수 있다.Those skilled in the art will understand that information and signals may be represented using any of a variety of different technologies and techniques. For example, data, instructions, instructions, information, signals, bits, symbols and chips that may be referenced in the above description are voltages, currents, electromagnetic waves, magnetic fields or particles, optical fields s or particles, or any combination thereof.

본 개시의 기술 분야에서 통상의 지식을 가진 자는 여기에 개시된 실시예들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 프로세서들, 수단들, 회로들 및 알고리즘 단계들이 전자 하드웨어, (편의를 위해, 여기에서 소프트웨어로 지칭되는) 다양한 형태들의 프로그램 또는 설계 코드 또는 이들 모두의 결합에 의해 구현될 수 있다는 것을 이해할 것이다. 하드웨어 및 소프트웨어의 이러한 상호 호환성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들 및 단계들이 이들의 기능과 관련하여 위에서 일반적으로 설명되었다. 이러한 기능이 하드웨어 또는 소프트웨어로서 구현되는지 여부는 특정한 애플리케이션 및 전체 시스템에 대하여 부과되는 설계 제약들에 따라 좌우된다. 본 개시의 기술 분야에서 통상의 지식을 가진 자는 각각의 특정한 애플리케이션에 대하여 다양한 방식들로 설명된 기능을 구현할 수 있으나, 이러한 구현 결정들은 본 개시의 범위를 벗어나는 것으로 해석되어서는 안 될 것이다.Those skilled in the art will understand that the various illustrative logical blocks, modules, processors, means, circuits, and algorithm steps described in connection with the embodiments disclosed herein are electronic hardware, (for convenience) , may be implemented by various forms of program or design code (referred to herein as software) or a combination of both. To clearly illustrate this interchangeability of hardware and software, various illustrative components, blocks, modules, circuits, and steps have been described above generally in terms of their functionality. Whether such functionality is implemented as hardware or software depends on the particular application and the design constraints imposed on the overall system. Skilled artisans may implement the described functionality in varying ways for each particular application, but such implementation decisions should not be interpreted as causing a departure from the scope of the present disclosure.

여기서 제시된 다양한 실시예들은 방법, 장치, 또는 표준 프로그래밍 및/또는 엔지니어링 기술을 사용한 제조 물품(article)으로 구현될 수 있다. 용어 제조 물품은 임의의 컴퓨터-판독가능 저장장치로부터 액세스 가능한 컴퓨터 프로그램, 캐리어, 또는 매체(media)를 포함한다. 예를 들어, 컴퓨터-판독가능 저장매체는 자기 저장 장치(예를 들면, 하드 디스크, 플로피 디스크, 자기 스트립, 등), 광학 디스크(예를 들면, CD, DVD, 등), 스마트 카드, 및 플래쉬 메모리 장치(예를 들면, EEPROM, 카드, 스틱, 키 드라이브, 등)를 포함하지만, 이들로 제한되는 것은 아니다. 또한, 여기서 제시되는 다양한 저장 매체는 정보를 저장하기 위한 하나 이상의 장치 및/또는 다른 기계-판독가능한 매체를 포함한다.Various embodiments presented herein may be implemented as a method, apparatus, or article of manufacture using standard programming and/or engineering techniques. The term article of manufacture includes a computer program, carrier, or media accessible from any computer-readable storage device. For example, computer-readable storage media include magnetic storage devices (eg, hard disks, floppy disks, magnetic strips, etc.), optical disks (eg, CDs, DVDs, etc.), smart cards, and flash memory devices (eg, EEPROM, cards, sticks, key drives, etc.), but are not limited thereto. Additionally, various storage media presented herein include one or more devices and/or other machine-readable media for storing information.

제시된 프로세스들에 있는 단계들의 특정한 순서 또는 계층 구조는 예시적인 접근들의 일례임을 이해하도록 한다. 설계 우선순위들에 기반하여, 본 개시의 범위 내에서 프로세스들에 있는 단계들의 특정한 순서 또는 계층 구조가 재배열될 수 있다는 것을 이해하도록 한다. 첨부된 방법 청구항들은 샘플 순서로 다양한 단계들의 엘리먼트들을 제공하지만 제시된 특정한 순서 또는 계층 구조에 한정되는 것을 의미하지는 않는다.It is to be understood that the specific order or hierarchy of steps in the processes presented is an example of example approaches. Based upon design priorities, it is to be understood that the specific order or hierarchy of steps in the processes may be rearranged within the scope of this disclosure. The accompanying method claims present elements of the various steps in a sample order, but are not meant to be limited to the specific order or hierarchy presented.

제시된 실시예들에 대한 설명은 임의의 본 개시의 기술 분야에서 통상의 지식을 가진 자가 본 개시를 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 개시의 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 개시의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 개시는 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.The description of the presented embodiments is provided to enable any person skilled in the art to make or use the present disclosure. Various modifications to these embodiments will be apparent to those skilled in the art of this disclosure, and the general principles defined herein may be applied to other embodiments without departing from the scope of this disclosure. Thus, the present disclosure is not to be limited to the embodiments presented herein, but is to be interpreted in the widest scope consistent with the principles and novel features presented herein.

100: 컴퓨팅 장치 110: 프로세서
130: 메모리 150: 네트워크부100: computing device 110: processor
130: memory 150: network unit

Claims

컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 하나 이상의 프로세서로 하여금 음성 데이터를 분류하기 위한 명령들을 포함하며, 상기 명령들은,
상기 음성 데이터를 이미지화 하는 전처리를 수행하여, 상기 음성 데이터를 음성 이미지 데이터로 변환하는 단계;
상기 음성 이미지 데이터를 소음 분류 모델을 이용하여, 소음 데이터와 배경 음성 데이터로 분류하는 단계; 및
상기 분류 결과에 기초하여 소음 영향도를 평가하는 단계;
를 포함하는,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
A computer program stored on a computer readable storage medium, the computer program comprising instructions for causing one or more processors to classify speech data, the instructions comprising:
converting the audio data into audio image data by performing pre-processing of converting the audio data into an image;
classifying the audio image data into noise data and background audio data using a noise classification model; and
Evaluating a noise influence based on the classification result;
including,
A computer program stored on a computer readable storage medium.

제 1 항에 있어서,
상기 음성 데이터를 이미지화 하는 전처리를 수행하여, 상기 음성 데이터를 음성 이미지 데이터로 변환하는 단계는,
상기 음성 데이터를 일축은 상기 음성 데이터의 주파수, 다른 일 축은 시간으로 하는 2 차원 행렬 형태이며, 상기 행렬의 각 성분은 상기 음성 데이터의 각 주파수에 대한 상기 음성 데이터의 각 시간 간격에서의 소음도로 하는 이미지로 변환하는 단계;
를 포함하는,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
According to claim 1,
The step of converting the audio data into audio image data by performing preprocessing of converting the audio data into an image,
The voice data is in the form of a two-dimensional matrix in which one axis is the frequency of the voice data and the other axis is time, and each component of the matrix is a noise level at each time interval of the voice data for each frequency of the voice data. converting to image;
including,
A computer program stored on a computer readable storage medium.

제 2 항에 있어서,
상기 소음도는 상기 음성 데이터의 각 주파수에 대한 각 시간 간격에서의 음향의 크기에 기초하는,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
According to claim 2,
The noise level is based on the loudness of sound at each time interval for each frequency of the voice data.
A computer program stored on a computer readable storage medium.

제 2 항에 있어서,
상기 행렬의 각 성분은 정규화되어, 음향 데이터는 그레이 스케일 이미지 형태로 전처리되는,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
According to claim 2,
Each component of the matrix is normalized, and the acoustic data is preprocessed in the form of a gray scale image.
A computer program stored on a computer readable storage medium.

제 1 항에 있어서,
상기 소음 분류 모델은,
랜덤 포레스트 모델, SVM(support vector machine), 또는 합성곱 신경망(CNN, convolutional neural network) 중 적어도 하나의 분류 모델을 포함하는,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
According to claim 1,
The noise classification model,
Including at least one classification model of a random forest model, a support vector machine (SVM), or a convolutional neural network (CNN),
A computer program stored on a computer readable storage medium.

제 5 항에 있어서,
상기 소음 분류 모델은,
음성 데이터를 이미지화한 음성 이미지 학습 데이터로 학습되며, 상기 음성 이미지 학습 데이터는 소음 데이터를 이미지화한 소음 이미지 학습 데이터, 배경 음성을 이미지화한 배경 음성 이미지 학습 데이터를 포함하며, 음성 이미지 학습 데이터에 포함된 각각의 데이터는 라벨링된,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
According to claim 5,
The noise classification model,
The audio image learning data includes noise image learning data in which noise data is imaged and background audio image learning data in which background voice is imaged, and included in the audio image learning data Each data is labeled,
A computer program stored on a computer readable storage medium.

제 6 항에 있어서,
상기 배경 음성 이미지 학습 데이터는 일반 배경 음성이 이미지화된 일반 배경 음성 이미지 학습 데이터 및 일반 배경 음성보다 높은 소음을 포함하는 가짜 소음 배경 음성 이미지 학습 데이터를 포함하는,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
According to claim 6,
The background speech image learning data includes normal background speech image training data in which a normal background speech is imaged and fake noise background speech image training data including noise higher than that of the normal background speech,
A computer program stored on a computer readable storage medium.

제 6 항에 있어서,
상기 음성 이미지 학습 데이터는 상기 소음 이미지 학습 데이터와 상기 배경 음성 이미지 학습 데이터를 사전결정된 비율로 포함하는,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
According to claim 6,
The audio image learning data includes the noise image learning data and the background audio image learning data at a predetermined ratio.
A computer program stored on a computer readable storage medium.

제 6 항에 있어서,
상기 음성 이미지 학습 데이터는 상기 소음 분류 모델의 조정에 사용되는 학습 데이터 서브세트, 상기 소음 분류 모델의 유효성 판단에 사용되는 검증 데이터 서브세트, 및 상기 소음 분류 모델의 테스트에 사용되는 테스트 데이터 서브세트를 포함하는,
컴퓨터 판독가능 저장 매체에 포함된 컴퓨터 프로그램.
According to claim 6,
The audio image learning data includes a subset of training data used to adjust the noise classification model, a subset of verification data used to determine validity of the noise classification model, and a subset of test data used to test the noise classification model. including,
A computer program embodied in a computer readable storage medium.

제 5 항에 있어서,
상기 소음 분류 모델은,
하나 이상의 분류 모델의 분류 결과에 대한 앙상블을 통해 상기 음성 이미지 데이터를 상기 소음 데이터와 상기 배경 음성 데이터로 분류하는,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
According to claim 5,
The noise classification model,
classifying the audio image data into the noise data and the background audio data through an ensemble of classification results of one or more classification models;
A computer program stored on a computer readable storage medium.

제 1 항에 있어서,
상기 음성 데이터 각각은 상기 음성 데이터가 획득된 시간에 관련한 획득 시간 정보를 포함하는,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
According to claim 1,
Each of the voice data includes acquisition time information related to a time at which the voice data was obtained.
A computer program stored on a computer readable storage medium.

제 1 항에 있어서,
상기 분류 결과에 기초하여 소음 영향도를 평가하는 단계는,
상기 소음 데이터로 분류된 음성 데이터의 소음도와, 상기 음성 데이터의 획득 시간 정보에 기초하여 소음 영향도를 평가하는 단계;
를 포함하는,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

According to claim 1,
Evaluating the noise influence based on the classification result,
Evaluating a noise influence based on the noise level of the voice data classified as noise data and acquisition time information of the voice data;
including,
A computer program stored on a computer readable storage medium.