KR101002779B1 - Apparatus and method for sound analyzing - Google Patents

Abstract

본 발명은 사운드 분석 장치 및 그 방법에 관한 것이다.

본 발명에서, 사운드 분석 장치는 소정 장치에서 발생 가능한 효과음의 종류 별로 시작점 파형 데이터와 주파수 특징 정보를 추출하여 저장한다. 그리고, 사운드 신호가 입력되면, 이로부터 효과음 신호의 시작점을 검출하고, 검출된 시작점에 기초해 해당 효과음 신호의 시작점 파형 데이터 및 주파수 특징 정보를 추출하여, 미리 저장된 시작점 파형 데이터 및 주파수 특징 정보들과 비교하여 해당 효과음 신호의 종류를 판별한다.

게임, 사운드, 효과음, FFT, DFT, 사운드 분석, 주파수 특징

The present invention relates to a sound analyzing apparatus and a method thereof.

In the present invention, the sound analysis device extracts and stores the starting point waveform data and the frequency characteristic information for each type of effect sound that can be generated in a predetermined device. When the sound signal is input, the start point of the sound effect signal is detected from the sound signal, and the start point waveform data and the frequency characteristic information of the sound effect signal are extracted based on the detected start point, and the start point waveform data and the frequency characteristic information are stored in advance. By comparison, the type of the effect sound signal is determined.

Game, Sound, Sound Effects, FFT, DFT, Sound Analysis, Frequency Features

Description

사운드 분석 장치 및 그 방법{Apparatus and method for sound analyzing} Apparatus and method for sound analyzing

본 발명은 사운드 분석 장치 및 그 방법에 관한 것이다. 특히, 소정 장치에서 출력되는 다양한 효과음을 판별하기 위한 사운드 분석 장치 및 그 방법에 관한 것이다. The present invention relates to a sound analyzing apparatus and a method thereof. In particular, the present invention relates to a sound analyzing apparatus and method for determining various effect sounds output from a predetermined apparatus.

최근 연구 결과에 따르면 청각적인 효과와 촉각적인 효과가 동시에 발생할 경우, 인간은 촉각과 청각을 각각 사용하여 상황을 인지하는 것 보다 더욱 효과적으로 상황을 인지한다고 한다. 이에 따라, 진동 등 여러 가지 촉각적인 효과를 소리와 결합한 사용자 인터페이스의 연구가 활발히 진행되고 있다.According to recent research, when the auditory and tactile effects occur at the same time, humans perceive the situation more effectively than using the sense of touch and hearing, respectively. Accordingly, research on a user interface that combines various tactile effects such as vibration with sound has been actively conducted.

이러한, 청각적인 효과와 촉각적인 효과를 결합한 사용자 인터페이스를 게임 등에 적용할 경우, 예를 들어, 총소리나 야구방망이에 공이 맞는 소리 등 여러 가지 소리를 구분해서 적절한 진동 효과를 사용자에게 제공하는 경우, 사용자는 더욱더 효과적으로 게임 상황을 인지하는 것이 가능하다. When applying a user interface combining the auditory effect and the tactile effect to a game, for example, when providing a suitable vibration effect to the user by dividing various sounds, such as a gunshot or a ball hit by a baseball bat, It is possible to recognize the game situation more effectively.

그러나, 이를 위해서는 게임에서 발생하는 사운드 신호를 분석하여 여러 가지 효과음을 구분하고, 그에 따라 적절한 진동 피드백 등을 제공해주는 시스템이 필요하다. However, this requires a system that analyzes the sound signal generated in the game, distinguishes various sound effects, and provides appropriate vibration feedback.

본 발명이 이루고자 하는 기술적 과제는 효과음 신호를 실시간으로 판별하기 위한 사운드 분석 장치 및 그 방법을 제공하는 것이다.The technical problem to be achieved by the present invention is to provide a sound analysis device and method for determining the effect sound signal in real time.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 사운드 분석 방법은,Sound analysis method according to a feature of the present invention for achieving the above object,

입력되는 사운드 신호로부터 효과음 신호의 시작 파형에 해당하는 제1 파형 데이터를 추출하는 단계; 상기 제1 파형 데이터와 복수의 효과음 종류별로 기 획득한 복수의 시작점 파형 데이터들을 비교하여 상기 복수의 효과음 종류 중 일부를 비교 후보군으로 선택하는 단계; 상기 효과음 신호를 주파수 영역으로 변환하고, 상기 주파수 영역으로 변환된 효과음 신호의 주파수 특징에 해당하는 제1 특징 정보를 획득하는 단계; 및 상기 제1 특징 정보와, 상기 복수의 효과음 종류별로 기 획득한 복수의 주파수 특징 정보 중 상기 비교 후보군에 대응하는 적어도 하나의 주파수 특징 정보를 비교하여 상기 효과음 신호의 종류를 판별하는 단계를 포함한다.Extracting first waveform data corresponding to a start waveform of the effect sound signal from the input sound signal; Comparing the first waveform data with a plurality of starting point waveform data previously obtained for each type of effect sound and selecting a portion of the plurality of effect sound types as a comparison candidate group; Converting the sound effect signal into a frequency domain and acquiring first feature information corresponding to a frequency characteristic of the sound effect signal converted into the frequency domain; And comparing the first characteristic information with at least one frequency characteristic information corresponding to the comparison candidate group among the plurality of frequency characteristic information previously obtained for each of the plurality of types of effect sounds to determine the type of the effect sound signal. .

또한, 본 발명의 다른 특징에 따른 사운드 분석 장치는,In addition, the sound analysis device according to another feature of the present invention,

복수의 효과음 종류에 대응되는 복수의 시작점 파형 데이터 및 복수의 주파수 특징 정보를 저장하는 효과음 데이터베이스; 입력되는 사운드 신호로부터 효과음 신호의 시작점을 검출하고, 상기 시작점에 기초해 상기 효과음 신호의 시작 파형에 해당하는 제1 파형 데이터를 추출하는 시작점 검출부; 상기 제1 파형 데이터 와 상기 복수의 시작점 파형 데이터를 비교하여 상기 복수의 주파수 특징 정보 중 일부를 비교 후보군으로 선택하는 비교 후보군 선택부; 상기 시작점에 기초해 상기 입력되는 사운드 신호로부터 상기 효과음 신호를 캡쳐하여 주파수 영역으로 변환하는 주파수 변환부; 상기 주파수 영역으로 변환된 상기 효과음 신호의 주파수 특징에 대응하는 제1 특징 정보를 획득하는 주파수 특징 검출부; 및 상기 제1 특징 정보를 상기 비교 후보군에 포함된 주파수 특징 정보와 비교하여 상기 효과음 신호의 종류를 판별하는 효과음 판별부를 포함한다.An effect sound database for storing a plurality of starting point waveform data and a plurality of frequency characteristic information corresponding to the plurality of sound effect types; A start point detector for detecting a start point of the sound effect signal from an input sound signal and extracting first waveform data corresponding to the start waveform of the sound effect signal based on the start point; A comparison candidate group selecting unit which compares the first waveform data with the plurality of starting point waveform data and selects a part of the plurality of frequency feature information as a comparison candidate group; A frequency converter configured to capture the effect sound signal from the input sound signal based on the starting point and convert the captured sound signal into a frequency domain; A frequency feature detector for obtaining first feature information corresponding to a frequency feature of the effect sound signal converted into the frequency domain; And an effect sound discrimination unit for comparing the first feature information with the frequency feature information included in the comparison candidate group to determine the type of the effect sound signal.

본 발명에 따르면, 사운드 신호로부터 검출된 효과음과 시작점 파형 데이터가 비슷한 효과음의 종류들을 선택하고, 선택된 효과음 종류에 대해서만 주파수 특징 정보를 비교하여 검출된 효과음의 종류를 판별함으로써, 비교에 걸리는 시간을 단축시켜 실시간으로 입력되는 효과음의 종류를 판별하는 것이 가능하도록 하는 효과가 있다.According to the present invention, the time required for comparison can be shortened by selecting the types of the sound effects similar to the starting point waveform data detected from the sound signal, and comparing the frequency characteristic information only for the selected sound effect types to determine the types of the detected sound effects. It is possible to determine the type of effect sound input in real time.

또한, 시작점 파형 데이터와 주파수 특징 정보를 함께 이용하여 입력되는 효과음의 종류를 판별함으로써, 판별의 정확도를 향상시키는 효과가 있다. In addition, it is possible to improve the accuracy of the discrimination by discriminating the type of the effect sound input by using the starting point waveform data and the frequency characteristic information together.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설 명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and like reference numerals designate like parts throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when a part is said to "include" a certain component, it means that it can further include other components, without excluding other components unless specifically stated otherwise. Also, the term "part" or the like, as described in the specification, means a unit for processing at least one function or operation, and may be implemented by hardware, software, or a combination of hardware and software.

이제 아래에서는 본 발명의 실시 예에 따른 사운드 분석 장치에 대하여 도면을 참고로 하여 상세하게 설명한다.Hereinafter, a sound analysis apparatus according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

한편, 본 발명의 실시 예에서는 사운드 분석 장치를 게임 시스템에 적용하는 경우를 예로 들어 설명하나, 이는 본 발명을 한정하는 것이 아니며, 본 발명은 여러 종류의 효과음을 발생시키고, 그에 대응하는 진동 피드백등을 제공하는 다른 종류의 시스템에도 적용이 가능하다. On the other hand, in the embodiment of the present invention will be described a case in which the sound analysis device is applied to the game system as an example, but this does not limit the present invention, the present invention generates a variety of sound effects, and corresponding vibration feedback, etc. It is also applicable to other types of systems that provide.

도 1은 본 발명의 실시 예에 따른 게임 시스템을 개략적으로 도시한 것이다.1 schematically illustrates a game system according to an embodiment of the present invention.

도 1을 보면, 게임 시스템은 게임 프로그램이 실행되는 게임 장치(100)와 게임 장치(100)로부터 발생하는 사운드를 분석하여 효과음의 종류를 판별하고, 각 효과음에 대응하는 다양한 효과들을 실시간으로 사용자에게 제공하기 위한 사운드 분석 장치(200)를 포함한다. Referring to FIG. 1, a game system analyzes a sound generated from a game device 100 and a game device 100 on which a game program is executed, determines a type of sound effect, and provides various effects corresponding to each sound effect to a user in real time. Sound analysis device 200 for providing.

예를 들어, 총기를 사용하는 게임 프로그램에 대한 사운드 분석을 수행하는 경우, 사운드 분석 장치(200)는 해당 게임에서 사용되는 총기별 총소리의 특징 정 보를 미리 분석하여 저장한다. 그리고, 이후, 게임 수행에 따라 게임 장치(100)에서 총소리가 발생하면, 해당 총소리의 특징 정보를 획득하고 미리 저장된 총기별 총소리의 특징 정보들과 비교함으로써 발생된 총소리에 해당하는 총기를 판별하고, 대응하는 진동 피드백을 사용자에게 실시간으로 제공할 수 있다. For example, when performing sound analysis on a game program using a firearm, the sound analysis device 200 analyzes and stores in advance the characteristic information of gun fire for each firearm used in the game. Then, when a gunshot occurs in the game device 100 according to the performance of the game, the firearm corresponding to the gunshot generated by obtaining feature information of the gunshot and comparing the feature information of gunshots stored in advance for each gun, Corresponding vibration feedback may be provided to the user in real time.

한편, 본 발명의 실시 예에서는 전술한 사운드 분석 장치(200)를 구현하기 위해, 디지털 시그널 프로세서(Digital Signal Processor, DSP)를 사용할 수 있다. Meanwhile, in the embodiment of the present invention, a digital signal processor (DSP) may be used to implement the sound analysis apparatus 200 described above.

도 2는 본 발명의 실시 예에 따른 사운드 분석 장치(200)를 도시한 구조도이다. 2 is a structural diagram illustrating a sound analysis apparatus 200 according to an embodiment of the present invention.

도 2를 보면, 사운드 분석 장치(200)는 입력부(220), 시작점 검출부(230), 비교 후보군 선택부(240), 주파수 변환부(250), 주파수 특징 검출부(260), 효과음 데이터베이스(DataBase, DB)(210), 효과음 판별부(270) 및 효과 제공부(280)를 포함한다.Referring to FIG. 2, the sound analysis apparatus 200 may include an input unit 220, a starting point detector 230, a comparison candidate group selector 240, a frequency converter 250, a frequency feature detector 260, and a sound effect database (DataBase, DB) 210, effect sound discrimination unit 270 and effect providing unit 280.

효과음 DB(210)는 게임 장치(100)에서 발생 가능한 효과음의 종류별로 특징정보 즉, 시작부분의 파형에 대응하는 시작점 파형 데이터와 주파수 특징에 해당하는 주파수 특징 정보를 저장한다. 여기서, 효과음의 종류는 분석 대상이 되는 게임에서 발생하는 효과음의 종류를 의미하며, 효과음 종류별로 저장된 시작점 파형 데이터와 주파수 특징 정보는 추후 입력되는 효과음 신호의 판별을 위한 기준이 된다.The sound effect DB 210 stores the feature information, that is, the start point waveform data corresponding to the waveform of the beginning and the frequency feature information corresponding to the frequency feature, for each type of effect sound that can be generated in the game device 100. Here, the type of the effect sound refers to the type of effect sound generated in the game to be analyzed, and the starting point waveform data and frequency characteristic information stored for each effect sound type are used as a reference for discriminating the effect sound signal input later.

입력부(220)는 마이크(미도시)로 입력된 아날로그 사운드 신호를 디지털 신호로 변환한다.The input unit 220 converts an analog sound signal input through a microphone (not shown) into a digital signal.

시작점 검출부(230)는 디지털 신호로 변환된 사운드 신호에서 효과음 신호의 시작점을 검출하고, 검출된 시작점부터 소정의 시간 동안 입력되는 사운드 신호 즉, 효과음 신호의 시작 부분의 파형에 대응하는 시작점 파형 데이터를 추출한다. 또한, 추출한 시작점 파형 데이터를 후술하는 비교 후보군 선택부(240) 또는 효과음 DB(210)로 출력한다. 즉, 사운드 신호를 판별하는 기준이 되는 효과음 DB(210)의 구축 시에는, 시작점 파형 데이터를 효과음 DB(210)로 출력하고, 효과음 DB(210)는 이를 대응하는 효과음 종류에 매칭하여 저장한다. 반면에, 게임 수행 중에 입력되는 효과음 신호의 시작점 파형 데이터는 비교 후보군 선택부(240)로 출력한다.The start point detector 230 detects a start point of the sound effect signal from the sound signal converted into a digital signal, and starts the start point waveform data corresponding to the waveform of the sound signal inputted from the detected start point for a predetermined time, that is, the beginning of the sound effect signal. Extract. The extracted starting point waveform data is also output to the comparison candidate group selection unit 240 or the effect sound DB 210 described later. That is, when the sound effect DB 210 is used as a reference for discriminating the sound signal, the starting point waveform data is output to the sound effect DB 210, and the sound effect DB 210 matches the corresponding sound effect type and stores the sound. On the other hand, the starting point waveform data of the sound effect signal input during game play is output to the comparison candidate group selector 240.

여기서, 시작점은 효과음이 발생하여 사운드 신호의 크기가 급격히 증가하는 지점으로, 시작점 검출부(230)는 이전에 측정된 사운드 신호의 크기 중 최대값과 입력되는 사운드 신호의 크기의 비율 변화를 이용하여 효과음의 시작점을 검출한다. 또한, 검출된 시작점부터 소정의 시간 동안 입력되는 효과음 신호로부터 획득한 복수개의 피크값을 이용하여 시작점 파형 데이터를 추출한다.  Here, the starting point is a point where the effect sound is generated and the magnitude of the sound signal is rapidly increased. The starting point detector 230 uses the change in the ratio between the maximum value of the previously measured sound signal and the magnitude of the input sound signal. To detect the starting point. Also, starting point waveform data is extracted using a plurality of peak values obtained from a sound effect signal input for a predetermined time from the detected starting point.

비교 후보군 선택부(240)는 효과음 DB(210)에 저장된 시작점 파형 데이터들과 시작점 검출부(230)에서 출력되는 시작점 파형 데이터를 비교하여 효과음 DB(210)에 저장된 효과음 종류 별로 오차를 산출한다. 그리고, 산출된 오차들 중 임계치 이하인 오차들에 대응하는 효과음 종류와 그에 해당하는 주파수 특징 정보들을 비교 후보군으로 선택한다. 여기서, 선택된 비교 후보군은 이후 입력되는 효과음 신호와 주파수 특징을 비교하는 비교 대상이 된다. The comparison candidate group selecting unit 240 calculates an error for each type of effect sound stored in the effect sound DB 210 by comparing the start point waveform data stored in the effect sound DB 210 and the start point waveform data output from the start point detector 230. The effect sound type corresponding to the errors that are less than or equal to the threshold among the calculated errors and the frequency characteristic information corresponding thereto are selected as the comparison candidate group. Here, the selected comparison candidate group is a comparison target for comparing the frequency signal and the effect sound signal input thereafter.

주파수 변환부(250)는 시작점 검출부(230)에서 검출한 시작점부터 효과음 신호를 캡쳐하여 주파수 영역으로 변환한다. 한편, 본 발명의 실시 예에서 주파수 변환부(250)는 고속 퓨리에 변환(Fast Fourier Transform, FFT)와 이산 퓨리에 변환(Discrete Fourier Transform, DFT)를 선택적으로 사용하여 주파수 변환을 수행한다. The frequency converter 250 captures the effect sound signal from the start point detected by the start point detector 230 and converts the sound signal into a frequency domain. Meanwhile, in an embodiment of the present invention, the frequency converter 250 performs a frequency transform by selectively using a fast Fourier transform (FFT) and a discrete Fourier transform (DFT).

주파수 특징 검출부(260)는 주파수 변환부(250)에서 주파수 영역으로 변환된 효과음 신호로부터 주파수 특징 정보를 검출한다. 그리고, 검출한 주파수 특징 정보를 후술하는 효과음 판별부(270) 또는 효과음 DB(210)로 출력한다. 즉, 사운드 신호를 판별하는 기준이 되는 효과음 DB(210)의 구축 시에는, 주파수 특징 정보를 효과음 DB(210)로 출력하고, 효과음 DB(210)는 이를 대응하는 효과음 종류에 매칭하여 저장한다. 반면에, 게임 수행 중에 입력되는 효과음 신호의 주파수 특징 정보는 효과음 판별부(270)로 출력한다. 여기서, 주파수 특징 정보는 주파수 영역으로 변환된 효과음 신호로부터 획득한 복수의 주파수 밴드 별 피크값을 이용하여 획득한다. The frequency feature detector 260 detects the frequency feature information from the effect sound signal converted into the frequency domain by the frequency converter 250. The detected frequency characteristic information is output to the effect sound discriminating unit 270 or the effect sound DB 210 described later. That is, when constructing the sound effect DB 210 as a reference for discriminating the sound signal, the frequency characteristic information is output to the sound effect DB 210, and the sound effect DB 210 matches and stores the corresponding sound effect type. On the other hand, the frequency characteristic information of the sound effect signal input during game play is output to the sound effect determination unit 270. Here, the frequency characteristic information is obtained using a plurality of peak values for each frequency band obtained from the effect sound signal converted into the frequency domain.

효과음 판별부(270)는 비교 후보군에 포함된 주파수 특징 정보들과 주파수 특징 검출부(260)에서 출력되는 주파수 특징 정보를 비교하여 비교 후보군에 포함된 효과음 종류 별로 오차를 산출한다. 그리고, 산출된 오차들 중 최소 오차를 선택하고, 최소 오차가 임계치 이하이면 입력되는 효과음 신호의 종류가 최소 오차를 보이는 효과음 종류와 동일함을 인지한다. The sound effect determination unit 270 calculates an error for each type of effect sound included in the comparison candidate group by comparing the frequency feature information included in the comparison candidate group with the frequency feature information output from the frequency feature detection unit 260. The minimum error is selected from the calculated errors, and if the minimum error is less than or equal to the threshold, it is recognized that the type of the input sound signal is the same as the type of the sound effect showing the minimum error.

효과 제공부(280)는 효과음 신호가 입력되는 동안 입력되는 효과음 신호에 대응하는 촉각적인 효과 예를 들어, 진동 피드백 등을 실시간으로 제공한다. 여기서, 입력되는 효과음 신호의 종류는 효과음 판별부(270)로부터 전달 받는다. 효과음이 총소리인 경우를 예로 들면, 효과 제공부(280)는 효과음 판별부(270)에서 입력되는 효과음 신호의 종류를 판별하여 알려주면, 이에 대응하는 세기 또는 주기의 진동 피드백을 실시간으로 사용자에게 제공한다. The effect provider 280 provides a tactile effect, for example, vibration feedback or the like, corresponding to the sound effect signal input while the sound effect signal is input in real time. Here, the type of the effect sound signal input is received from the effect sound determination unit 270. For example, when the effect sound is a gun sound, the effect provider 280 determines the type of the effect sound signal input from the effect sound determination unit 270 and informs the user of the vibration feedback of the intensity or period corresponding thereto in real time. do.

다음, 도 3 내지 도 7을 참고로 하여 본 발명의 실시 예에 다른 효과음 DB(210)를 구축하는 방법에 대하여 도면을 참고로 하여 상세하게 설명한다.Next, a method of constructing another sound effect DB 210 according to an embodiment of the present invention will be described in detail with reference to the drawings with reference to FIGS. 3 to 7.

한편, 아래에서는 하나의 효과음 종류에 대한 특징 정보를 획득하는 방법에 대하여 설명하며, 효과음 DB(210)의 구축을 위해서는 발생 가능한 복수의 효과음 종류에 대하여 다음의 특징 정보 추출 과정을 수행할 필요가 있다. Meanwhile, the following describes a method of acquiring feature information about one type of effect sound, and in order to construct the effect sound DB 210, it is necessary to perform the following feature information extraction process on a plurality of effect sound types that can be generated. .

도 3은 본 발명의 실시 예에 따른 효과음 DB(210)에 저장하는 특징 정보들을 획득하는 방법을 도시한 흐름도이다. 또한, 도 4는 본 발명의 실시 예에 따른 시작점 검출의 일 예를 도시한 것이고, 도 5는 본 발명의 실시 예에 따른 시작점 파형 데이터를 추출하는 일 예를 도시한 것이다. 또한, 도 6은 본 발명의 실시 예에 따른 주파수 변환의 일 예를 도시한 것이고, 도 7은 본 발명의 실시 예에 따른 주파수 특징 정보를 추출하는 일 예를 도시한 것이다.3 is a flowchart illustrating a method of obtaining feature information stored in the effect sound DB 210 according to an embodiment of the present invention. 4 illustrates an example of starting point detection according to an exemplary embodiment of the present invention, and FIG. 5 illustrates an example of extracting starting point waveform data according to an exemplary embodiment of the present invention. 6 illustrates an example of frequency conversion according to an embodiment of the present invention, and FIG. 7 illustrates an example of extracting frequency feature information according to an embodiment of the present invention.

도 3을 보면, 우선, 게임 장치(100)가 효과음 DB(210)에 저장을 위해 저장대상이 되는 효과음 종류에 해당하는 효과음을 발생시키면(S101), 사운드 분석 장치(200)는 입력되는 사운드 신호 중에서 대응하는 효과음 신호의 시작점을 검출한다(S102). 한편, 사운드 분석 장치(200)는 시작점을 검출하기 위해, 도 4에 도시된 바와 같이 사운드 신호의 크기(magnitude)가 크게 증가하는 지점을 검출한다. 즉, 사운드 분석 장치(200)는 입력되는 사운드 신호의 크기를 지속적으로 측정하고, 측정된 신호 크기 중에서 최대값을 선택한다. 그리고, 입력되는 사운드 신호의 크기를 최대값과 비교하여 크기비율을 산출하고, 현재 산출된 크기비율이 직전에 산출된 크기비율보다 임계치 이상 증가한 지점을 효과음 신호의 시작점으로 인지한다. Referring to FIG. 3, first, when the game device 100 generates an effect sound corresponding to an effect sound type to be stored in the effect sound DB 210 (S101), the sound analysis device 200 receives an input sound signal. The starting point of the corresponding effect sound signal is detected (S102). On the other hand, the sound analysis device 200 detects the point where the magnitude (magnitude) of the sound signal significantly increases, as shown in Figure 4 to detect the starting point. That is, the sound analysis apparatus 200 continuously measures the magnitude of the input sound signal and selects a maximum value from the measured signal magnitudes. Then, the magnitude ratio is calculated by comparing the magnitude of the input sound signal with the maximum value, and the point where the current calculated magnitude ratio increases by more than a threshold value from the magnitude ratio calculated immediately before is recognized as the start point of the sound effect signal.

예를 들어, 사운드 신호 크기의 최대값이 1000이고, 현재 측정된 사운드 신호의 크기가 800, 직전에 측정된 사운드 신호의 크기가 200인 경우, 현재 산출된 크기비율은 0.8, 직전에 산출된 크기비율은 0.2가 되므로, 크기 비율이 0.6만큼 증가함을 알 수 있다. 따라서, 사운드 분석 장치(200)는 사운드 신호의 크기비율이 크게 증가한 것으로 판단하여 현재 입력되는 사운드 신호를 효과음 신호의 시작점으로 판단할 수 있다. For example, when the maximum value of the sound signal magnitude is 1000, the magnitude of the currently measured sound signal is 800, and the magnitude of the sound signal measured immediately before is 200, the currently calculated magnitude ratio is 0.8 and the magnitude calculated immediately before. Since the ratio becomes 0.2, it can be seen that the size ratio increases by 0.6. Therefore, the sound analysis apparatus 200 may determine that the magnitude ratio of the sound signal has increased greatly, and may determine the current input sound signal as a starting point of the effect sound signal.

한편, 크기비율을 산출하기 위한 기준이 되는 최대값은 사운드 신호의 크기가 증가하는 동안은 계속해서 가장 큰 신호 크기로 갱신된다. 반면에, 사운드 신호의 크기가 감소하거나 일정하게 유지되어 기 설정된 시간 동안 최대값의 변화가 없는 경우에는, 해당 시간 동안 입력된 사운드 신호의 크기 중 가장 큰 값으로 최대값을 갱신한다. On the other hand, the maximum value used as the reference for calculating the size ratio is continuously updated to the largest signal size while the size of the sound signal is increased. On the other hand, when the magnitude of the sound signal is reduced or kept constant so that there is no change in the maximum value for a preset time, the maximum value is updated to the largest value of the magnitude of the sound signal input during the corresponding time.

이와 같이 시작점 검출을 위해 사운드 신호의 상대적인 크기비율의 변화를 이용하고, 크기비율 산출의 기준이 되는 최대값을 사운드 신호의 크기 변화에 따라 적응적으로 변경하는 방법은, 게임 장치(100)의 볼륨에 의존하지 않고 시작점을 검출하는 것이 가능하도록 하는 효과가 있다. 따라서, 게임 장치(100)에서 볼륨을 변 경하더라도 항상 같은 지점에서 효과음의 시작점을 검출하여 시작점 검출의 정확도를 향상시킬 수 있다. As described above, a method of using the change in the relative size ratio of the sound signal for detecting the starting point, and adaptively changing the maximum value, which is a reference for calculating the size ratio, in accordance with the change in the size of the sound signal, is the volume of the game device 100. There is an effect that makes it possible to detect the starting point without depending on. Therefore, even if the volume is changed in the game device 100, it is always possible to improve the accuracy of the starting point detection by detecting the starting point of the sound effect at the same point.

한편, 효과음 신호의 시작점이 검출되면, 사운드 분석 장치(200)는 도 5에 도시된 바와 같이 검출된 시작점부터 소정의 시간 동안 사운드 신호 즉, 효과음 신호의 시작 부분을 캡쳐하고, 이로부터 효과음 신호의 시작점 파형에 대응하는 복수의 피크값들을 검출한다. 그리고, 검출된 복수의 피크값들을 사용하여 시작점 파형 데이터를 획득하며, 획득한 시작점 파형 데이터는 대응하는 효과음 종류에 매칭하여 효과음 DB(210)에 저장한다(S103). 여기서, 사운드 분석 장치(200)는 효과음 신호의 시작 부분에서 검출된 피크값들의 절대값 중 최대값을 선택하고, 선택된 최대값과 검출된 피크값들의 비율을 산출하여 시작점 파형 데이터로 사용한다. On the other hand, when the start point of the effect sound signal is detected, the sound analysis apparatus 200 captures the beginning of the sound signal, that is, the sound effect signal for a predetermined time from the detected start point, as shown in FIG. A plurality of peak values corresponding to the starting point waveform are detected. Then, starting point waveform data is obtained using the detected plurality of peak values, and the obtained starting point waveform data is stored in the effect sound DB 210 by matching the corresponding effect sound type (S103). Here, the sound analysis apparatus 200 selects the maximum value among the absolute values of the peak values detected at the beginning of the effect sound signal, calculates a ratio between the selected maximum value and the detected peak values, and uses the starting point waveform data.

이러한 시작점 파형 데이터 획득 방법은, 전술한 시작점 검출 방법과 마찬가지로 게임 장치(100)의 볼륨에 비의존적으로 시작점 파형 데이터를 획득하는 것을 가능하도록 하여, 게임 장치(100)에서 볼륨을 변경하더라도 항상 같은 시작점 파형 데이터를 획득하여 효과음 신호 판별의 정확도를 향상시키는 효과가 있다.This starting point waveform data acquisition method, like the aforementioned starting point detection method, makes it possible to acquire starting point waveform data independently of the volume of the game device 100, so that even if the volume is changed in the game device 100, the same starting point is always obtained. Acquiring the waveform data has the effect of improving the accuracy of the sound signal determination.

한편, 이렇게 산출된 효과음 종류 별 시작점 파형 데이터는, 효과음 DB(210)에 대응하는 효과음 종류에 매칭되어 저장되어, 추후 게임 수행 중에 게임 장치(100)로부터 입력되는 효과음 신호의 종류를 판별하기 위한 기준이 된다. 즉, 사운드 분석 장치(200)는 게임 수행 중에 게임 장치(100)로부터 효과음 신호가 입력되면, 효과음 DB(210)에 저장된 효과음 종류별 시작점 파형 데이터 중 입력된 효과음 신호와 시작점 파형 데이터가 비슷한 몇몇 효과음을 선택한다. 그리고, 선택된 효과음 종류들에 대해서만 주파수 특징을 비교한다. 따라서, 사운드 분석 장치(200)는 효과음 종류의 판별을 위해 주파수 특징 비교 시, 비교해야 하는 대상을 줄일 수 있어 주파수 특징 비교에 소요되는 시간을 줄일 수 있다. 또한, 사운드 분석 장치(200)는 주파수 특징 외에 효과음 신호의 시작 부분 파형을 효과음 신호의 종류 판별에 사용할 수 있어 판별 정확도를 높일 수 있는 장점이 있다.On the other hand, the starting point waveform data for each type of effect sound calculated in this way is matched with and stored in the effect sound type corresponding to the effect sound DB 210, and a criterion for determining the type of the sound effect signal input from the game device 100 during a later game play. Becomes That is, when an effect sound signal is input from the game device 100 during game play, the sound analysis apparatus 200 may generate some sound effects having similar starting point waveform data among the input sound effect signal among the starting point waveform data for each type of effect sound stored in the sound effect DB 210. Choose. The frequency characteristics are compared only for the selected types of effect sounds. Therefore, the sound analysis apparatus 200 may reduce the target to be compared when comparing the frequency features to determine the type of effect sound, thereby reducing the time required for comparing the frequency features. In addition, the sound analysis apparatus 200 may use the start waveform of the effect sound signal in addition to the frequency characteristic to determine the type of the effect sound signal, thereby increasing the discrimination accuracy.

전술한 바와 같이 시작점 파형 데이터를 획득하면, 사운드 분석 장치(200)는 시작점부터 입력되는 효과음 신호를 캡쳐하여 주파수 영역으로 변환한다(S104). 여기서, 사운드 분석 장치(200)는 FFT를 수행하여 효과음 신호를 주파수 영역으로 변환한다. 도 6은 FFT를 수행하여 효과음 신호를 주파수 영역으로 변환하는 일 예를 나타낸다. 한편, FFT 수행 시, 변환 포인트(point)가 너무 많으면 데이터를 모두 샘플링(sampling)하는데 시간이 너무 오래 걸리고, 너무 적으면 데이터를 정확히 추출하는 것이 어려워 주파수 특징 정보 추출에 어려움이 발생한다. 따라서, 본 발명의 실시 예에서는 FFT를 수행 시 데이터 샘플링에 걸리는 시간과 FFT 변환의 정확성 사이에 트레이드 오프를 고려하여 변환 포인트의 개수를 결정한다.When the start point waveform data is acquired as described above, the sound analysis apparatus 200 captures the effect sound signal input from the start point and converts the sound signal into a frequency domain (S104). Here, the sound analysis apparatus 200 performs an FFT to convert the effect sound signal into the frequency domain. 6 illustrates an example of converting an effect sound signal into a frequency domain by performing an FFT. On the other hand, when performing FFT, too many conversion points take too long to sample all the data, and too little, it is difficult to accurately extract the data, which causes difficulty in extracting frequency characteristic information. Therefore, in the embodiment of the present invention, the number of transform points is determined in consideration of a trade-off between the time taken for data sampling and the accuracy of the FFT transform.

효과음 신호의 주파수 영역 변환이 완료되면, 사운드 분석 장치(200)는 주파수 영역으로 변환된 효과음 신호로부터 주파수 대역 별 피크값을 획득하고, 이를 이용하여 주파수 특징 정보를 추출한다. 그리고, 이를 대응하는 효과음 종류에 매칭시켜 효과음 DB(210)에 저장한다(S105). When the frequency domain transformation of the sound effect signal is completed, the sound analysis apparatus 200 obtains a peak value for each frequency band from the sound effect signal converted into the frequency domain, and extracts frequency feature information using the peak value for each frequency band. Then, it is matched with the corresponding effect sound type and stored in the effect sound DB 210 (S105).

이를 위해, 사운드 분석 장치(200)는 도 7에 도시된 바와 같이, 주파수 영역으로 변환된 효과음 신호로부터 획득한 주파수 대역별 피크값 중에서 크기순으로 복수 개를 선택한다. 그리고, 선택한 피크값들 중에서 최대값을 결정하고, 최대값과 선택된 피크값들의 크기비율을 산출한다. 이렇게 산출된 크기 비율들은 대응하는 주파수 대역 별로 매칭되어, 해당 주파수 대역 정보와 함께 주파수 특징 정보로 사용된다. 본 발명의 실시 예에서는 주파수 대역 정보로, FFT 변환 시 해당 주파수 대역의 주파수 대역 배열 내 인덱스를 사용한다.To this end, as shown in FIG. 7, the sound analysis apparatus 200 selects a plurality of peaks for each frequency band obtained from the effect sound signal converted into the frequency domain in order of magnitude. The maximum value is determined among the selected peak values, and the size ratio between the maximum value and the selected peak values is calculated. The size ratios thus calculated are matched for each corresponding frequency band and used as frequency characteristic information together with the corresponding frequency band information. In an embodiment of the present invention, as frequency band information, an index in a frequency band array of a corresponding frequency band is used for FFT conversion.

한편, 전술한 바와 같이 산출된 주파수 특징 정보는, 효과음 DB(210)에 저장되어 추후 입력되는 효과음 신호의 종류를 판별하는 기준이 된다. 서로 다른 종류의 효과음들은 서로 다른 주파수 특징을 보이므로, 주파수 특징은 효과음 종류를 판별하는데 중요한 기준으로 사용될 수 있다.Meanwhile, the frequency characteristic information calculated as described above is a reference for determining the type of the effect sound signal stored in the effect sound DB 210 and input later. Since different types of effect sounds have different frequency characteristics, the frequency characteristics may be used as an important criterion for determining the type of effect sounds.

다음의 표 1은 전술한 방법으로 획득한 주파수 특징 정보의 일 예를 나타내는 것으로서, 각 총기 별로 5개의 주파수 대역에 해당하는 피크값을 이용하여 획득한 주파수 특징 정보를 나타내고 있다. Table 1 below shows an example of frequency characteristic information obtained by the above-described method, and shows frequency characteristic information obtained by using peak values corresponding to five frequency bands for each firearm.

표 1. 주파수 특징 정보 Table 1. Frequency characteristic information

여기서, 인덱스는 대응하는 주파수 대역의 FFT 변환에 따른 배열 내 인덱스 를 나타내며, 본 발명의 실시 예에서는 주파수 대역 값 대신 이를 주파수 특징 정보에 포함시킬 수 있다. Here, the index represents an index in the array according to the FFT transform of the corresponding frequency band. In an embodiment of the present invention, the index may be included in the frequency characteristic information instead of the frequency band value.

한편, 효과음 DB(210)에 저장되는 주파수 특징 정보 생성에 사용하는 주파수 대역의 개수는 제한할 필요가 있다. 이는, 주파수 영역으로 변환된 효과음 신호에서 검출되는 피크값에 해당하는 모든 주파수 대역들을 이용하여 주파수 특징 정보를 구성하는 경우, 추후 효과음 신호의 종류 판별 정확도는 증가하지만, 비교 대상이 증가하여 주파수 특징 정보를 비교하는데 걸리는 시간이 증가하기 때문이다. 따라서, 본 발명의 실시 예에서는 효과음 판별 시의 정확도와 수행 시간을 고려하여 효과음 DB(210)에 저장되는 주파수 특징 정보 획득에 사용되는 주파수 대역의 개수를 결정한다.On the other hand, the number of frequency bands used for generating frequency characteristic information stored in the effect sound DB 210 needs to be limited. When the frequency characteristic information is configured using all frequency bands corresponding to the peak values detected in the effect sound signal converted into the frequency domain, the accuracy of discriminating the type of the effect sound signal is increased later, but the comparison target is increased, thereby increasing the frequency characteristic information. This is because the time taken to compare is increased. Therefore, in the embodiment of the present invention, the number of frequency bands used to acquire frequency characteristic information stored in the effect sound DB 210 is determined in consideration of the accuracy and execution time when the effect sound is determined.

다음, 도 8 내지 도 11을 이용하여 본 발명의 실시 예에 따른 사운드 분석 방법에 대하여 상세하게 설명한다. Next, a sound analysis method according to an exemplary embodiment of the present invention will be described in detail with reference to FIGS. 8 to 11.

도 8은 본 발명의 실시 예에 따른 사운드 분석 방법을 도시한 흐름도로서, 실시간으로 입력되는 효과음 신호의 종류를 판별하고, 대응하는 효과를 사용자에게 제공하기 위한 사운드 분석 방법을 도시한 흐름도이다. 또한, 도 9는 본 발명의 실시 예에 따른 비교 후보군 선택의 일 예를 도시한 것이고, 도 10은 본 발명의 실시 예에 따른 주파수 영역 변환 방법을 선택하는 일 예를 도시한 것이고, 도 11은 본 발명의 실시 예에 따른 주파수 특징 정보에 의해 산출된 오차의 일 예를 나타낸다. . 8 is a flowchart illustrating a sound analysis method according to an exemplary embodiment of the present invention, which is a flowchart illustrating a sound analysis method for determining a type of an effect sound signal input in real time and providing a corresponding effect to a user. 9 illustrates an example of selecting a comparison candidate group according to an embodiment of the present invention, FIG. 10 illustrates an example of selecting a frequency domain transformation method according to an embodiment of the present invention, and FIG. An example of the error calculated by the frequency characteristic information according to an embodiment of the present invention is shown. .

도 8을 보면, 사운드 분석 장치(200)는 게임 장치(100)에서 출력되는 사운드 신호를 실시간으로 분석하여 효과음 신호가 시작되는 시작점이 있는지 판단한다(S201). 그리고, 시작점부터 소정의 시간 동안 입력되는 사운드 신호 즉, 효과음 신호의 시작 부분에 대응하는 시작점 파형 데이터를 획득한다(S202). 여기서, 사운드 분석 장치(200)는 전술한 효과음 DB(210) 구축을 위한 시작점 검출 방법(S102) 및 시작점 파형 데이터 획득 방법(S102)과 동일한 방법으로 시작점 및 시작점 파형 데이터를 획득한다.Referring to FIG. 8, the sound analyzing apparatus 200 analyzes a sound signal output from the game apparatus 100 in real time to determine whether a starting point at which an effect sound signal is started (S201). Then, the start point waveform data corresponding to the start of the sound signal, that is, the effect sound signal input for a predetermined time from the start point is obtained (S202). Here, the sound analysis apparatus 200 obtains the starting point and the starting point waveform data in the same manner as the starting point detection method (S102) and the starting point waveform data acquisition method (S102) for constructing the effect sound DB 210 described above.

한편, 시작점 파형 데이터를 획득하면, 사운드 분석 장치(200)는 이를 효과음 DB(210) 내에 저장된 효과음 종류별 시작점 파형 데이터와 비교한다. 그리고, 도 9에 도시된 바와 같이, 효과음 DB(210)에 저장된 시작점 파형 데이터 중에서 효과음 신호의 시작점 파형 데이터와 임계치 이하의 오차를 보이는 시작점 파형 데이터들을 획득하고, 이들에 대응하는 효과음 종류와 주파수 특징 정보를 비교 후보군으로 선택한다(S203).On the other hand, when the start point waveform data is acquired, the sound analysis apparatus 200 compares it with the start point waveform data for each type of effect sound stored in the effect sound DB 210. And, as shown in Figure 9, from the starting point waveform data stored in the sound effect DB 210, the starting point waveform data showing an error below the threshold and the starting point waveform data of the effect sound signal, and obtains the corresponding effect sound type and frequency characteristics The information is selected as the comparison candidate group (S203).

여기서, 시작점 파형 데이터 간의 오차를 산출하는 방법은, 비교 대상이 되는 두 시작점 파형 데이터에 대하여, 대응하는 크기비율 간의 차이값을 산출하고, 산출된 차이값들의 절대값을 모두 합한 값을 오차로 사용한다. Here, the method for calculating the error between the starting point waveform data, calculates the difference value between the corresponding magnitude ratio for the two starting point waveform data to be compared, and use the sum of the absolute values of the calculated difference values as the error do.

전술한 바와 같이 비교 후보군이 선택되면, 사운드 분석 장치(200)는 우선, 주파수 영역으로의 변환 방법을 결정한다(S204). When the comparison candidate group is selected as described above, the sound analysis apparatus 200 first determines a method of converting to the frequency domain (S204).

전술한 바와 같이 효과음 DB(210)에 저장되는 주파수 특징 정보를 획득하기 위해 효과음 신호를 주파수 영역으로 변환하는 단계(S104)에서는, 피크값에 기초해 주파수 대역을 선택해야 하므로 전체 주파수 영역에 대한 변환을 수행하기 위해 FFT를 수행한다. 그러나, 입력되는 효과음 신호의 종류를 판별하기 위해 효과음 신호를 주파수 영역으로 변환하는 경우에는, 비교 후보군에 포함된 효과음 종류별 주파수 특징 정보에 기초해 FFT와 DFT 중 하나를 선택하여 수행한다. 이는, 비교 후보군에 포함된 효과음 종류별 주파수 특징 정보를 통해 비교할 주파수 대역을 이미 알고 있으므로, 부분적인 주파수 영역 변환을 통해 해당하는 주파수 대역의 정보만 획득하면 되기 때문이다. 따라서, 사운드 분석 장치(200)는 모든 주파수 영역을 다 변환할 필요 없이, 비교 대상이 되는 주파수 영역만을 변환함으로써, 주파수 영역 변환에 소요되는 시간을 줄일 수 있다.As described above, in the step S104 of converting the effect sound signal into the frequency domain in order to obtain the frequency characteristic information stored in the effect sound DB 210, the frequency band should be selected based on the peak value. Perform FFT to perform However, when the effect sound signal is converted into the frequency domain in order to determine the type of the effect sound signal to be input, one of the FFT and the DFT is selected and performed based on the frequency characteristic information for each effect sound type included in the comparison candidate group. This is because the frequency band to be compared is already known through the frequency characteristic information for each type of effect sound included in the comparison candidate group, and thus only the information of the corresponding frequency band needs to be obtained through partial frequency domain transformation. Therefore, the sound analysis apparatus 200 may reduce the time required for the frequency domain conversion by converting only the frequency domain to be compared, without having to convert all the frequency domains.

한편, DFT는 원하는 대역만을 선택하여 변환하는 부분적인 주파수 영역 변환은 가능하나, 변환 포인트가 많아지면 FFT에 비해 수행 속도가 느리다. 그리고, FFT는 부분적인 주파수 변환은 불가능하나, 변환 포인트가 많은 경우에는 DFT보다 수행 속도가 빠르다. 따라서, 사운드 분석 장치(200)는 도 10에 도시된 바와 같이 변환 포인트의 개수에 따라 두 방법 중 하나를 적절하게 선택할 필요가 있다. 즉, 변환 포인트가 적은 경우에는 DFT를 선택하고, 변환 포인트가 많은 경우에는 FFT를 선택한다.On the other hand, the DFT can perform partial frequency domain conversion by selecting and converting only a desired band. However, when the number of conversion points is increased, the DFT is slower than the FFT. In addition, the FFT cannot perform partial frequency conversion. However, when the FFT has many conversion points, the FFT performs faster than the DFT. Accordingly, the sound analysis apparatus 200 needs to appropriately select one of the two methods according to the number of conversion points as shown in FIG. 10. That is, DFT is selected when there are few conversion points, and FFT is selected when there are many conversion points.

한편, 변환 포인트의 개수는 비교 후보군에 포함된 주파수 특징 정보에 기초해 인지가 가능하다. 따라서, 사운드 분석 장치(200)는 다음의 수학식 1에 기초해 주파수 영역 변환 방법을 선택한다.The number of transform points may be recognized based on frequency feature information included in the comparison candidate group. Therefore, the sound analysis apparatus 200 selects a frequency domain conversion method based on Equation 1 below.

여기서, T_DFT와 T_FFT는 각각 DFT와 FFT의 수행시간을 의미한다. 또한, N_peak는 주파수 특징을 비교하는 대상이 되는 피크값의 개수, O(n)는 DFT가 하나의 변환 포인트에 대한 변환을 수행하는데 걸리는 시간을 의미한다. 따라서, DFT 변환 시 총 수행 시간은, 비교 대상이 되는 피크값의 개수에 하나의 포인트에 대한 DFT 변환을 수행하는데 걸리는 수행시간을 곱한 것이 되므로, DFT 변환 시 수행 시간은 비교 대상이 되는 피크값의 개수에 비례한다. 여기서, 비교 대상이 되는 피크값의 개수는 비교 후보군에 포함된 주파수 특징 정보로부터 획득이 가능하다. 한편, FFT 변환 수행시간은 항상 일정한 값으로서, P는 FFT 수행 시의 변환 포인트 개수를 나타낸다. 예를 들어, 512 point의 radix-2 FFT를 사용하는 경우, P는 512가 된다. Here, T _DFT and T _FFT mean execution time of DFT and FFT, respectively. In addition, N _peak is the number of peak values to be compared frequency characteristics, O (n) means the time it takes the DFT to perform the conversion for one conversion point. Therefore, the total execution time during the DFT transformation is multiplied by the execution time for performing the DFT transformation for one point by the number of peak values to be compared. Proportional to the number. Here, the number of peak values to be compared can be obtained from the frequency characteristic information included in the comparison candidate group. On the other hand, the FFT transform execution time is always a constant value, where P represents the number of transform points when performing the FFT. For example, if you use a radix-2 FFT of 512 points, P is 512.

위 수학식 1과 같이 DFT와 FFT에 대한 각각의 수행시간을 산출하면, 사운드 분석 장치(200)는 둘 중에 수행 시간이 더 짧은 변환 방법을 주파수 영역 변환 방법으로 선택한다. 예를 들어, 512 point의 radix-2 FFT를 사용하는 경우, 사운드 분석 장치(200)는 비교 대상이 되는 피크값이 9개 이상이면, 주파수 영역 변환 방법으로 FFT를 사용한다. As shown in Equation 1, when each execution time for the DFT and the FFT is calculated, the sound analysis apparatus 200 selects a conversion method having a shorter execution time as the frequency domain conversion method. For example, when a radix-2 FFT of 512 points is used, the sound analysis apparatus 200 uses the FFT as a frequency domain transformation method when nine or more peak values to be compared are used.

한편, 전술한 바와 같이 변환 방법이 결정되면, 사운드 분석 장치(200)는 시작점부터 효과음 신호를 캡쳐하여 주파수 영역으로 변환한다(S205). 여기서, 사운 드 분석 장치(200)는 주파수 영역 변환 방법을 DFT로 선택하는 경우, 비교 후보군에 포함된 주파수 특징 정보로부터 비교 대상이 되는 주파수 대역을 확인하고, 해당 주파수 대역들에 대응하여 변환 포인트를 결정하여 주파수 영역 변환을 수행한다. Meanwhile, when the conversion method is determined as described above, the sound analysis apparatus 200 captures the effect sound signal from the start point and converts it into the frequency domain (S205). Here, when the sound analysis apparatus 200 selects the frequency domain transformation method as the DFT, the sound analysis apparatus 200 confirms the frequency bands to be compared from the frequency feature information included in the comparison candidate group, and selects a conversion point corresponding to the frequency bands. Determine the frequency domain transform.

이후, 사운드 분석 장치(200)는 주파수 영역으로 변환된 효과음 신호로부터비교 대상이 되는 주파수 대역에 해당하는 피크값들을 획득하고, 이로부터 주파수 특징 정보를 획득한다(S206). 여기서, 주파수 특징 정보를 획득하는 방법은, 전술한 효과음 DB(210) 구축 시 주파수 특징 정보를 획득하는 방법과 동일한 방법을 사용한다. Thereafter, the sound analysis apparatus 200 obtains peak values corresponding to a frequency band to be compared from the effect sound signal converted into the frequency domain, and obtains frequency characteristic information therefrom (S206). Here, the method for acquiring the frequency characteristic information uses the same method as the method for acquiring the frequency characteristic information when constructing the effect sound DB 210 described above.

입력되는 효과음 신호의 주파수 특징 정보를 획득한 사운드 분석 장치(200)는, 이후, 비교 후보군에 포함된 주파수 특징 정보와 이를 비교한다(S207). 그리고, 각 효과음 종류별 주파수 특징 정보 중에서 효과음 신호의 주파수 특징 정보와 최소의 오차를 보이는 주파수 특징 정보를 획득하고, 최소 오차를 보이는 주파수 특징 정보에 대응하는 효과음 종류가 조건을 만족하는지 판단한다(S208). 즉, 해당 효과음 종류의 시작점 파형 데이터 및 주파수 특징 정보와 입력되는 효과음 신호의 시작점 파형 데이터 및 주파수 특징 정보 간의 오차를 더하여 합산 오차를 산출하고, 산출된 합산 오차가 임계치 이하인지 판단한다. 그리고, 임계치 이하이면, 입력되는 효과음 신호가 최소 합산 오차를 보이는 효과음 종류에 해당함을 인지하고, 입력되는 효과음 신호의 종류 판별을 완료한다(S209). The sound analysis apparatus 200 having obtained the frequency characteristic information of the input effect sound signal then compares it with the frequency characteristic information included in the comparison candidate group (S207). The frequency characteristic information showing the minimum characteristic error and the frequency characteristic information of the effect sound signal is obtained from the frequency characteristic information for each sound effect type, and it is determined whether the effect sound type corresponding to the frequency characteristic information having the minimum error satisfies the condition (S208). . That is, a sum error is calculated by adding an error between the start point waveform data and the frequency characteristic information of the corresponding sound effect type and the start point waveform data and the frequency characteristic information of the input sound effect signal, and determine whether the calculated sum error is equal to or less than a threshold. If it is less than or equal to the threshold value, it is recognized that the input sound effect signal corresponds to the kind of sound effect showing the minimum summation error, and the type of the input sound effect signal is determined (S209).

여기서, 주파수 특징 정보 간에 오차를 산출하는 방법은, 비교 대상이 되는 두 주파수 특징 정보에 대하여, 대응하는 크기비율 간의 차이값을 산출하고, 산출된 차이값들의 절대값을 모두 합한 값을 오차로 사용한다. 도 11은 두 종류의 총소리에 대하여 입력되는 효과음 신호의 주파수 특징 정보와의 오차를 산출하기 위해, 주파수 특징 정보를 비교하는 일 예를 나타낸다. Here, the method of calculating the error between the frequency feature information, for the two frequency feature information to be compared, calculates the difference value between the corresponding magnitude ratio, and uses the sum of all the absolute values of the calculated difference value as an error do. FIG. 11 illustrates an example of comparing frequency characteristic information to calculate an error with frequency characteristic information of an effect sound signal input for two kinds of gun sounds.

전술한 바와 같이, 시작점 파형 데이터의 비교를 통해 주파수 특징을 비교하는 비교 후보군을 먼저 선택하고, 선택된 비교 후보군에 포함된 효과음 종류에 대해서만 주파수 특징 비교를 수행하는 방법은, 입력되는 효과음 신호의 종류 판별에 걸리는 시간을 단축하고, 이에 따라 게임 장치에서 출력되는 효과음 신호를 실시간으로 판별하는 것이 가능하도록 하는 효과가 있다.As described above, a method of first selecting a comparison candidate group for comparing frequency characteristics through comparison of starting point waveform data, and performing frequency characteristic comparison only on the types of effect sounds included in the selected comparison candidate group, determines the type of the effect sound signal inputted. This shortens the time it takes, thereby making it possible to determine in real time the sound effect signal output from the game device.

또한, 시작 데이터 파형과 주파수 특징 정보를 함께 이용하여 효과음 신호의 종류를 판별함으로써, 판별의 정확도를 향상시키는 효과가 있다. Further, the type of the effect sound signal is discriminated by using the start data waveform and the frequency characteristic information together, thereby improving the accuracy of the discrimination.

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다. The embodiments of the present invention described above are not only implemented by the apparatus and method but may be implemented through a program for realizing the function corresponding to the configuration of the embodiment of the present invention or a recording medium on which the program is recorded, The embodiments can be easily implemented by those skilled in the art from the description of the embodiments described above.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are also provided. It belongs to the scope of rights.

도 1은 본 발명의 실시 예에 따른 게임 시스템을 개략적으로 도시한 것이다.1 schematically illustrates a game system according to an embodiment of the present invention.

도 2는 본 발명의 실시 예에 따른 사운드 분석 장치를 도시한 구조도이다. 2 is a structural diagram showing a sound analysis apparatus according to an embodiment of the present invention.

도 3은 본 발명의 실시 예에 따른 효과음 데이터베이스 구축을 위한 특징 정보 추출 방법을 도시한 흐름도이다. 3 is a flowchart illustrating a method of extracting feature information for constructing a sound effect database according to an embodiment of the present invention.

도 4는 본 발명의 실시 예에 따른 시작점 검출의 일 예를 도시한 것이다. 4 illustrates an example of starting point detection according to an embodiment of the present invention.

도 5는 본 발명의 실시 예에 따른 시작점 파형 데이터를 추출하는 일 예를 도시한 것이다. 5 illustrates an example of extracting starting point waveform data according to an exemplary embodiment of the present invention.

도 6은 본 발명의 실시 예에 따른 주파수 변환의 일 예를 도시한 것이다. 6 illustrates an example of frequency conversion according to an embodiment of the present invention.

도 7은 본 발명의 실시 예에 따른 주파수 특징 정보를 추출하는 일 예를 도시한 것이다.7 illustrates an example of extracting frequency feature information according to an embodiment of the present invention.

도 8은 본 발명의 실시 예에 따른 사운드 분석 방법을 도시한 흐름도이다. 8 is a flowchart illustrating a sound analysis method according to an exemplary embodiment of the present invention.

도 9는 본 발명의 실시 예에 따른 비교 후보군 선택의 일 예를 도시한 것이다. 9 illustrates an example of selecting a comparison candidate group according to an embodiment of the present invention.

도 10은 본 발명의 실시 예에 따른 주파수 영역 변환 방법을 선택하는 일 예를 도시한 것이다. 10 illustrates an example of selecting a frequency domain conversion method according to an embodiment of the present invention.

도 11은 본 발명의 실시 예에 따른 주파수 특징 정보에 의해 산출된 오차의 일 예를 나타낸다.11 illustrates an example of an error calculated by frequency characteristic information according to an exemplary embodiment of the present invention.

Claims (16)

입력되는 사운드 신호로부터 효과음 신호의 시작 파형에 해당하는 제1 파형 데이터를 추출하는 단계;Extracting first waveform data corresponding to a start waveform of the effect sound signal from the input sound signal; 상기 제1 파형 데이터와 복수의 효과음 종류별로 기 획득한 복수의 시작점 파형 데이터들을 비교하여 상기 복수의 효과음 종류 중 일부를 비교 후보군으로 선택하는 단계;Comparing the first waveform data with a plurality of starting point waveform data previously obtained for each type of effect sound and selecting a portion of the plurality of effect sound types as a comparison candidate group; 상기 효과음 신호를 주파수 영역으로 변환하고, 상기 주파수 영역으로 변환된 효과음 신호의 주파수 특징에 해당하는 제1 특징 정보를 획득하는 단계; 및Converting the sound effect signal into a frequency domain and acquiring first feature information corresponding to a frequency characteristic of the sound effect signal converted into the frequency domain; And 상기 제1 특징 정보와, 상기 복수의 효과음 종류별로 기 획득한 복수의 주파수 특징 정보 중 상기 비교 후보군에 대응하는 적어도 하나의 주파수 특징 정보를 비교하여 상기 효과음 신호의 종류를 판별하는 단계Determining the type of the sound effect signal by comparing the first feature information with at least one frequency feature information corresponding to the comparison candidate group among the plurality of frequency feature information previously obtained for each type of the sound effect type; 를 포함하고,Including, 상기 제1 파형 데이터를 추출하는 단계는,Extracting the first waveform data may include: 상기 입력되는 사운드 신호로부터 상기 효과음 신호의 시작점을 검출하는 단계;Detecting a starting point of the effect sound signal from the input sound signal; 상기 효과음 신호의 시작점부터 연속되는 복수 개의 피크값을 선택하는 단계;Selecting a plurality of peak values continuous from a start point of the effect sound signal; 상기 선택된 복수 개의 피크값 중 최대 피크값을 선택하는 단계; 및Selecting a maximum peak value among the selected plurality of peak values; And 상기 최대 피크값과 상기 선택된 복수 개의 피크값과의 크기비율을 이용하여 상기 제1 파형 데이터를 획득하는 단계Acquiring the first waveform data by using a magnitude ratio between the maximum peak value and the plurality of selected peak values 를 포함하는 사운드 분석 방법.Sound analysis method comprising a. 제 1항에 있어서,The method of claim 1, 상기 제1 파형 데이터를 추출하는 단계 이전에 상기 복수의 효과음 종류 별로 상기 복수의 시작점 파형 데이터 및 상기 복수의 주파수 특징 정보를 추출하는 단계Extracting the plurality of starting point waveform data and the plurality of frequency feature information for each of the plurality of sound effect types before extracting the first waveform data. 를 더 포함하는 사운드 분석 방법.Sound analysis method further comprising a. 삭제delete 제 1항에 있어서,The method of claim 1, 상기 시작점을 검출하는 단계는,Detecting the starting point, 상기 입력되는 사운드 신호의 크기 중에서 최대값을 선택하는 단계; 및Selecting a maximum value from the magnitude of the input sound signal; And 상기 입력되는 사운드 신호의 크기와 상기 최대값과의 비율이 임계치 이상 증가한 지점을 상기 시작점으로 검출하는 단계Detecting a point at which the ratio between the magnitude of the input sound signal and the maximum value increases by more than a threshold value as the starting point; 를 포함하는 사운드 분석 방법. Sound analysis method comprising a. 제 1항에 있어서,The method of claim 1, 상기 비교 후보군으로 선택하는 단계는,Selecting as the comparison candidate group, 상기 복수의 시작점 파형 데이터 별로 상기 제1 파형 데이터와의 오차를 산 출하는 단계;Calculating an error with the first waveform data for each of the plurality of starting point waveform data; 상기 복수의 시작점 파형 데이터 중 산출된 오차가 임계치 이하인 시작점 파형 데이터에 해당하는 효과음 종류를 상기 비교 후보군으로 선택하는 단계 Selecting an effect sound type corresponding to a starting point waveform data having a calculated error among the plurality of starting point waveform data below a threshold, as the comparison candidate group; 를 포함하는 사운드 분석 방법.Sound analysis method comprising a. 제 1항에 있어서,The method of claim 1, 상기 제1 특징 정보를 획득하는 단계는,Acquiring the first feature information, 상기 효과음 신호를 주파수 영역으로 변환하는 단계;Converting the effect sound signal into a frequency domain; 상기 비교 후보군에 대응하는 적어도 하나의 주파수 특징 정보에 기초해, 상기 주파수 영역으로 변환된 효과음 신호에서 복수 개의 주파수 대역을 선택하는 단계;Selecting a plurality of frequency bands from the effect sound signal converted into the frequency domain based on at least one frequency characteristic information corresponding to the comparison candidate group; 상기 선택된 복수 개의 주파수 대역에 해당하는 피크값 중 최대값과 상기 선택된 복수 개의 주파수 대역에 해당하는 피크값의 크기비율을 산출하는 단계; 및Calculating a ratio of magnitudes of peak values corresponding to the selected plurality of frequency bands and peak values corresponding to the selected plurality of frequency bands; And 상기 선택된 복수 개의 주파수 대역의 정보와 상기 산출된 크기비율을 매칭하여 상기 제1 특징 정보를 획득하는 단계Acquiring the first characteristic information by matching the information of the selected plurality of frequency bands with the calculated magnitude ratio; 를 포함하는 사운드 분석 방법.Sound analysis method comprising a. 제 6항에 있어서,The method of claim 6, 상기 주파수 영역으로 변환하는 단계는,Converting to the frequency domain, 상기 비교 후보군에 대응하는 적어도 하나의 주파수 특징 정보에 포함된 피크값의 개수에 기초해, 변환 포인트 개수를 결정하는 단계;Determining the number of transformation points based on the number of peak values included in at least one frequency characteristic information corresponding to the comparison candidate group; 상기 변환 포인트 개수에 기초해, 고속 퓨리에 변환 또는 이산 퓨리에 변환을 주파수 영역 변환 방법으로 선택하는 단계; 및Selecting a fast Fourier transform or a Discrete Fourier transform as the frequency domain transform method based on the number of transform points; And 상기 선택된 주파수 영역 변환 방법에 기초해 상기 효과음 신호를 주파수 영역으로 변환하는 단계 Converting the effect sound signal into a frequency domain based on the selected frequency domain conversion method 를 포함하는 사운드 분석 방법.Sound analysis method comprising a. 제 6항에 있어서,The method of claim 6, 상기 복수 개의 주파수 대역을 선택하는 단계는,Selecting the plurality of frequency bands, 상기 비교 후보군에 대응하는 적어도 하나의 주파수 특징 정보에 포함된 주파수 대역들을 상기 복수개의 주파수 대역으로 선택하는 단계인 사운드 분석 방법.Selecting a plurality of frequency bands included in at least one frequency characteristic information corresponding to the comparison candidate group as the plurality of frequency bands. 제 8항에 있어서, The method of claim 8, 상기 효과음 신호의 종류를 판별하는 단계는,The step of determining the type of the effect sound signal, 상기 비교 후보군에 대응하는 적어도 하나의 주파수 특징 정보 별로 상기 제1 특징 정보와의 오차를 산출하는 단계;Calculating an error with the first feature information for at least one frequency feature information corresponding to the comparison candidate group; 상기 산출된 오차 중 최소 오차에 해당하는 주파수 특징 정보를 선택하는 단계;Selecting frequency characteristic information corresponding to a minimum error among the calculated errors; 상기 제1 특징 정보와 상기 선택된 주파수 특징 정보와의 오차를, 상기 제1 파형 데이터와 상기 선택된 주파수 특징 정보에 대응하는 시작점 파형 데이터와의 오차와 더하여 합산 오차를 산출하는 단계; 및Calculating a sum error by adding an error between the first characteristic information and the selected frequency characteristic information to an error between the first waveform data and a starting point waveform data corresponding to the selected frequency characteristic information; And 상기 합산 오차가 임계치 이하이면, 상기 선택된 주파수 특징 정보에 대응하는 효과음 종류를 상기 효과음 신호의 종류로 판별하는 단계If the sum error is less than or equal to a threshold, determining the type of the effect sound corresponding to the selected frequency characteristic information as the type of the effect sound signal; 를 포함하는 사운드 분석 방법. Sound analysis method comprising a. 복수의 효과음 종류에 대응되는 복수의 시작점 파형 데이터 및 복수의 주파수 특징 정보를 저장하는 효과음 데이터베이스;An effect sound database for storing a plurality of starting point waveform data and a plurality of frequency characteristic information corresponding to the plurality of sound effect types; 입력되는 사운드 신호로부터 효과음 신호의 시작점을 검출하고, 상기 시작점에 기초해 상기 효과음 신호의 시작 파형에 해당하는 제1 파형 데이터를 추출하는 시작점 검출부;A start point detector for detecting a start point of the sound effect signal from an input sound signal and extracting first waveform data corresponding to the start waveform of the sound effect signal based on the start point; 상기 제1 파형 데이터와 상기 복수의 시작점 파형 데이터를 비교하여 상기 복수의 주파수 특징 정보 중 일부를 비교 후보군으로 선택하는 비교 후보군 선택부;A comparison candidate group selecting unit which compares the first waveform data with the plurality of starting point waveform data and selects a part of the plurality of frequency feature information as a comparison candidate group; 상기 시작점에 기초해 상기 입력되는 사운드 신호로부터 상기 효과음 신호를 캡쳐하여 주파수 영역으로 변환하는 주파수 변환부;A frequency converter configured to capture the effect sound signal from the input sound signal based on the starting point and convert the captured sound signal into a frequency domain; 상기 주파수 영역으로 변환된 상기 효과음 신호의 주파수 특징에 대응하는 제1 특징 정보를 획득하는 주파수 특징 검출부; 및A frequency feature detector for obtaining first feature information corresponding to a frequency feature of the effect sound signal converted into the frequency domain; And 상기 비교 후보군에 포함된 주파수 특징 정보 중 상기 제1 특징 정보와 최소의 오차를 보이는 주파수 특징 정보를 선택하고, 선택한 주파수 특징 정보와 상기 제1 특징 정보간의 오차 및 상기 선택한 주파수 특징 정보에 대응하는 시작점 파형 데이터와 상기 제1 파형 데이터간의 오차를 합산한 오차가 임계치 이하이면, 상기 효과음 신호의 종류를 상기 선택한 주파수 특징 정보에 해당하는 효과음 종류로 인지하는 효과음 판별부From the frequency feature information included in the comparison candidate group, frequency feature information showing a minimum error with the first feature information is selected, and a starting point corresponding to an error between the selected frequency feature information and the first feature information and the selected frequency feature information. If the error obtained by adding up the error between the waveform data and the first waveform data is equal to or less than a threshold value, an effect sound discrimination unit for recognizing the type of the sound effect signal as the effect sound type corresponding to the selected frequency characteristic information. 를 포함하는 사운드 분석 장치.Sound analysis device comprising a. 제 10항에 있어서,The method of claim 10, 상기 주파수 변환부는, 상기 비교 후보군에 포함된 주파수 특징 정보에 기초해 고속 퓨리에 변환 또는 이산 퓨리에 변환을 주파수 영역 변환 방법으로 선택하는 사운드 분석 장치.And the frequency converter selects a fast Fourier transform or a Discrete Fourier transform as the frequency domain transform method based on the frequency characteristic information included in the comparison candidate group. 제 11항에 있어서,The method of claim 11, 상기 주파수 변환부는,The frequency converter, 상기 비교 후보군에 포함된 주파수 특징 정보에 대응하는 피크값의 개수가 임계치 이하이면, 상기 이산 퓨리에 변환을 상기 주파수 영역 변환 방법으로 선택하는 사운드 분석 장치.And the discrete Fourier transform is selected as the frequency domain transform method when the number of peak values corresponding to the frequency feature information included in the comparison candidate group is equal to or less than a threshold. 제 12항에 있어서,The method of claim 12, 상기 주파수 특징 검출부는, The frequency feature detection unit, 상기 주파수 영역으로 변환된 효과음 신호로부터 피크값 크기순으로 선택한 복수 개의 주파수 대역과 상기 선택한 복수 개의 주파수 대역 별 피크값을 이용하여 상기 제1 특징 정보를 획득하는 사운드 분석 장치. And analyzing the first characteristic information using the plurality of frequency bands selected in order of the peak value and the selected peak values for the plurality of frequency bands from the effect sound signal converted into the frequency domain. 제 10항에 있어서,The method of claim 10, 상기 시작점 검출부는,The starting point detector, 상기 입력되는 사운드 신호의 최대값을 결정하고, 상기 최대값 대비 상기 입 력되는 사운드 신호의 크기비율의 변화에 기초해 상기 시작점을 검출하는 사운드 분석 장치. And determining the maximum value of the input sound signal and detecting the starting point based on a change in the magnitude ratio of the input sound signal to the maximum value. 제 10항에 있어서,The method of claim 10, 상기 비교 후보군 선택부는, The comparison candidate group selection unit, 상기 복수의 시작점 파형 데이터 별로 상기 제1 파형 데이터와의 오차를 산출하고, 산출된 오차가 임계치 이하인 시작점 파형 데이터에 대응하는 효과음 종류를 선택하며, 상기 선택된 효과음 종류에 대응하는 주파수 특징 정보를 상기 비교 후보군으로 선택하는 사운드 분석 장치.Calculate an error with the first waveform data for each of the plurality of starting point waveform data, select an effect sound type corresponding to the starting point waveform data whose calculated error is equal to or less than a threshold, and compare frequency characteristic information corresponding to the selected effect sound type Sound analysis device to select as a candidate. 삭제delete

Images