WO2022045395A1 - Audio data correction method and device for removing plosives - Google Patents

Audio data correction method and device for removing plosives Download PDF

Info

Publication number
WO2022045395A1
WO2022045395A1 PCT/KR2020/011488 KR2020011488W WO2022045395A1 WO 2022045395 A1 WO2022045395 A1 WO 2022045395A1 KR 2020011488 W KR2020011488 W KR 2020011488W WO 2022045395 A1 WO2022045395 A1 WO 2022045395A1
Authority
WO
WIPO (PCT)
Prior art keywords
audio data
plosive
database
correcting
frequency domain
Prior art date
Application number
PCT/KR2020/011488
Other languages
French (fr)
Korean (ko)
Inventor
임재윤
Original Assignee
임재윤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임재윤 filed Critical 임재윤
Priority to PCT/KR2020/011488 priority Critical patent/WO2022045395A1/en
Publication of WO2022045395A1 publication Critical patent/WO2022045395A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90—Pitch determination of speech signals

Definitions

  • the present invention relates to a method and apparatus for correcting audio data for plosive removal.
  • a plosive sound uttered through a microphone including a pronunciation for the P or T spelling, is output more strongly than other pronunciations, and may become a factor in which the speaker's communication ability is attenuated.
  • auxiliary recording equipment such as pop filters or audio interfaces, was used to prevent these plosives.
  • auxiliary equipment cannot be used, and since such auxiliary equipment is expensive, it is difficult for an individual to build a system and broadcast.
  • An object of the present invention is to provide a method and an apparatus for correcting audio data for removing a plosive sound that can be heard in sound quality.
  • a method for correcting audio data for removing plosives includes: collecting plosives and pure consonants, and building a database by storing scaling values; Receiving audio data composed of a speech of a specific person from a user terminal including a microphone or connected; extracting audio data of a section having a plosive sound from the audio data based on the database; correcting to remove plosive sounds from the extracted audio data based on the database; and transmitting the corrected audio data to the user terminal or the listener terminal.
  • an apparatus for correcting audio data for plosive removal includes a memory for storing a program related to a method for correcting audio data for plosive removal; and a processor for executing the program, wherein the processor collects plosives and chaste sounds according to the execution of the program, stores a scaling value to build a database, and selects a specific person from a user terminal including or connected to a microphone.
  • receiving audio data composed of utterances extracting audio data of a section having a plosive from the audio data based on the database, and correcting the extracted audio data to remove plosives based on the database; It is configured to transmit the corrected audio data to the user terminal or the listener terminal, so that it is possible to provide audio in which the plosive sound is corrected.
  • a plosive according to an embodiment of the present invention may mean a sound including a pronunciation for a P or T spelling, the chastity means a sound that does not include a plosive, and the scaling value is a plosive and the chastity.
  • a ratio of an output value between notes it means a correction value for removing a plosive sound from the audio data.
  • the plosive and the chastity are stored in the database as a pair of the plosive and the chastity are pronounced with the same term by the same speaker and are matched with each other and stored in the database.
  • a plurality of pairs of plosives and chants uttered by other speakers are additionally stored in the database.
  • the plosive and the pure sound are analyzed in a frequency domain through a fast Fourier transform, and based on the ratio of output values between the plosive and the pure sound to derive the scaling value.
  • the plosive and the chastity pair are collected in plural for different frequency domains.
  • the scaling value according to an embodiment of the present invention may be an average value of all scaling values collected for each frequency domain or an average value of scaling values for each preset frequency domain section.
  • a method for correcting audio data for plosive removal when information on a section having a plosive in the audio data is received, extracting a plosive section of the audio data based on the section It may further include the step of
  • the scaling value when a scaling value of a frequency region stored in the database corresponding to a frequency region of a plosive of the extracted audio data is identified, the scaling value , to correct the audio data.
  • the scaling value of the frequency domain stored in the database corresponding to the frequency domain of the plosive of the extracted audio data is not recognized, the scaling value of the frequency domain stored in the database closest to the frequency domain of the plosive of the audio data is applied Thus, the audio data may be corrected.
  • the method of correcting audio data for plosive removal may be stored as a program in a computer-readable recording medium.
  • the method of correcting audio data for plosive removal improves listening ability by correcting the intensity of a plosive, which is a relatively strong pronunciation, so that listeners can more accurately receive the intended content of the speaker. can increase
  • each Internet broadcasting provider can provide a better quality real-time streaming service and reduce the cost of excessive auxiliary equipment.
  • FIG. 1 is a conceptual diagram illustrating a system for correcting and providing audio data for plosive removal according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating the configuration of a server according to an embodiment of the present invention.
  • FIG. 3 is a flowchart of constructing a database that is the basis of audio data correction for plosive removal according to an embodiment of the present invention.
  • FIG. 4 is a flowchart of a method of correcting audio data for plosive removal according to an embodiment of the present invention.
  • FIG. 5 is a graph showing an output value in a time interval region between a plosive sound and a chastity sound according to an embodiment of the present invention.
  • FIG. 6 is a graph illustrating a comparison of outputs in a frequency domain between a plosive sound and a chastity sound and a corrected sound according to the comparison according to an embodiment of the present invention.
  • FIG. 7 is a graph illustrating a scaling value versus a frequency according to an embodiment of the present invention.
  • Some of the operations or functions described as being performed by the terminal or device in this specification may be instead performed by a server connected to the terminal or device. Similarly, some of the operations or functions described as being performed by the server may also be performed in a terminal or device connected to the server.
  • the "terminal” referred to below may be implemented as a computer or portable terminal that can access a server or other terminal through a network.
  • the computer includes, for example, a laptop, a desktop, and a laptop equipped with a web browser (WEB Browser), and the portable terminal is, for example, a wireless communication device that ensures portability and mobility.
  • IMT International Mobile Telecommunication
  • CDMA Code Division Multiple Access
  • W-CDMA Wide-Code Division Multiple Access
  • Wibro Wireless Broadband Internet
  • LTE Long Term Evolution
  • smart It may include all types of handheld-based wireless communication devices such as a phone, a tablet PC, and the like.
  • network refers to a wired network such as a local area network (LAN), a wide area network (WAN), or a value added network (VAN), or a mobile radio communication network or satellite. It may be implemented in any kind of wireless network such as a communication network.
  • LAN local area network
  • WAN wide area network
  • VAN value added network
  • mobile radio communication network or satellite it may be implemented in any kind of wireless network such as a communication network.
  • the "bursting sound” referred to hereinafter includes not only the sound containing the pronunciation of the P or T spelling, but also sounds similar thereto.
  • the "K” pronunciation of "ka”, which is uttered more strongly than other pronunciations in the term “Americano”, may also correspond to this.
  • purity consonant means a sound that does not include a plosive within the same term mentioned by the same speaker.
  • scaling value is the ratio of the output value between the plosive and the pure consonant matched within the same term mentioned by the same speaker.
  • a pair of audio data referred to below means audio data of a specific plosive sound and a corresponding pure sound.
  • FIG. 1 is a conceptual diagram illustrating a system 1 for correcting and providing audio data for plosive removal according to an embodiment of the present invention.
  • a system 1 for correcting and providing audio data for plosive removal may include a server 100 , a user terminal 200 , and a listener terminal 300 .
  • the user terminal 200 is a terminal that includes a microphone or is connected to a microphone to input audio data composed of a specific person's utterance to the server.
  • the audio data may be pre-recorded or recorded audio data, or audio data generated in real time.
  • the user terminal 200 may be a terminal on the subject side of broadcasting through a network.
  • it may be a terminal used for a conversation between inter-interesters.
  • the audio data composed of a specific person's speech is not limited to dialogue, speech, and a song with lyrics, and may include all sounds that can be expressed in human language.
  • the subject of the user terminal 200 is the subject of a broadcast through the network in the system 1 for correcting and providing audio data for removing plosives according to an embodiment
  • full audio composed of the utterance of a specific person provided by the corresponding broadcast The data is transmitted to the server 200 configured in the network and corrected to remove the plosive, and the corrected audio data is received by the user terminal 200 or the listener terminal 300 to provide better quality broadcasting to the listeners.
  • the subject of a broadcast that transmits pre-recorded or recorded audio data may designate a specific section of the corresponding audio data and input it to the server 100 to correct a plosive sound. For example, during the entire broadcast, only audio data of the interview progress section can be designated to correct the plosive sound.
  • the listener terminal 300 may be an unspecified number of terminals that watch broadcasts.
  • the user terminal 200 when the user terminal 200 is a terminal used for a conversation between a distant person, the mutual conversation audio data is transmitted to the server 200 configured in each terminal. ), the plosive sound is corrected, and it can be provided to the conversation partner terminal.
  • the roles of each user terminal 200 and the listener terminal 300 may be exchanged in real time.
  • FIG. 2 is a block diagram illustrating the configuration of a server according to an embodiment of the present invention.
  • the server 100 for correcting audio data for removing plosives includes a database 110 for storing collected plosives and chaste sounds and the derived scaling values, a processor 120 , and a memory. 130 and the communication module 140 may be included. It is not limited to this configuration, and may include any device for correcting audio data for plosive sound removal.
  • a program for collecting a pair of audio data a program for deriving a scaling value and an average value of the pair of audio data, a program for extracting a burst of audio data input from the user terminal 200;
  • a program for deriving the scaling value and the average value of the plosive sound a program for converting audio data between the time section domain and the frequency domain, a program for setting and classifying a specific frequency section, and updating information on new audio data to the database 110
  • a program for recording audio data from which plosives have been removed may be stored. Of course, it is not limited to this configuration.
  • the communication module 140 serves to enable the server 100 to communicate with other terminals through a network.
  • the processor 120 controls the overall operation of the method of correcting the audio data for removing the plosive sound of the server 100, which will be described below.
  • FIG. 3 is a flowchart of constructing a database that is the basis of audio data correction for plosive removal according to an embodiment of the present invention.
  • the server 100 may collect a plurality of pairs of audio data.
  • a specific term including a plosive sound and a chastity sound by the same speaker using the same term may be simultaneously input to the server 100 .
  • the term 'wave' containing a plosive of the same speaker and a pure sound without the 'P' pronunciation of 'pa' can be input.
  • real-time input through a microphone or input through a pre-recorded storage medium may be performed, and any recording device may be used without limitation in configuration.
  • audio data including input plosives are not limited to word units, but may also be sentence units, long paragraphs, or sound sources of a specific program.
  • a pair of audio data sections may be previously designated and input, or may be input based on audio data accumulated in the database 110 .
  • each pair of audio data input in step S310 in the time period domain may be analyzed in the frequency domain.
  • the pair of audio data may be converted into a frequency domain through fast Fourier transform, and may be performed through a program in any computer language.
  • the transform method is not limited to the fast Fourier transform, and may include any algorithm for transforming from a time period domain to a frequency domain.
  • the entire pair of audio data transformed through the fast Fourier transform may be classified for each frequency domain.
  • the classification criteria of the frequency domain can be arbitrarily set. For example, it may be set in units of 10 Hz, or may be set in units of 100 Hz.
  • a section can be set by combining all or a part of the classified frequency domain.
  • a pair of audio data may be visualized as a spectrogram and analyzed at once in a time period and a frequency domain, and may be visualized by fast Fourier transform plotting or audio plotting to analyze a difference in output values for each frequency domain.
  • the configuration of the graph to be visualized is not limited thereto.
  • step S330 a scaling value of a pair of audio data classified for each frequency domain may be derived. Also, an average value of the scaling values derived for each frequency domain may be calculated. In addition, when a preset frequency domain section exists in step S320, an average value of scaling values corresponding to this section can be calculated.
  • a preset frequency domain section exists in step S320, an average value of scaling values corresponding to this section can be calculated.
  • step S340 information on each pair of audio data analyzed in step S320 may be stored in the database 110 .
  • a scaling value of each pair of audio data derived in step S330 may be stored.
  • information and scaling values of a pair of audio data may be collected and stored for each classified frequency domain.
  • the average value calculated for each frequency domain may be stored, and when a preset frequency domain section exists in step S320, the average value of the corresponding section calculated in step S330 may be stored.
  • the stored information of the database 110 may be listed in categories of a pair of audio data, scaling values, and average values, and may be listed for each classified frequency domain and preset frequency domain section. Of course, the listed configuration is not limited thereto.
  • steps S310 to S340 may be omitted or repeated if necessary, according to an embodiment of the present invention.
  • FIG. 4 is a flowchart of a method of correcting audio data for plosive removal according to an embodiment of the present invention.
  • steps S410 to S460 according to FIG. 4 may be performed after the database 110 through the processes of steps S310 to S340 is built.
  • audio data including a plosive sound is input from the user terminal 200 to the server 100 in step S410 .
  • step S420 the server 100 receives the input audio data and extracts a plosive sound section of the audio data.
  • a plosive sound section corresponding to information of a pair of audio data stored in the database 110 built in step S340 among the received audio data is searched for, such a plosive sound section can be automatically extracted. Also, it may be manually extracted by the user terminal 200 . In this case, after outputting the audio data input by the user, the user terminal 200 may receive a predetermined input regarding a plosive section from the user and transmit it to the server 100 .
  • the audio data of the plosive sound section of the time section extracted in step S430 can be analyzed in the frequency domain.
  • the extracted plosive section audio data may be converted into a frequency domain through fast Fourier transform, and may be performed through a program in any computer language.
  • the transform method is not limited to the fast Fourier transform, and may include any algorithm for transforming from a time period domain to a frequency domain.
  • information on a pair of audio data stored in the database 110 in the frequency domain corresponding to the frequency domain of each plosive sound section may be searched to analyze the difference in output values.
  • information in the database 110 may be searched based on the average frequency domain.
  • analysis may be performed based on the frequency domain classified in the database 110 and a preset frequency domain section.
  • a scaling value of a corresponding frequency domain may be retrieved from the database 110 with reference to the main frequency domain of the audio data performed in step S430, and the retrieved scaling value may be applied to the audio data.
  • any one of the scaling values and the average values listed in the database 110 including the common frequency domain may be searched and applied.
  • the frequency domain classification standard is set to 10 Hz, and a section of 100 Hz unit including each frequency domain is preset, A plosive sound extracted by assuming that a scaling value for a pair of audio data of a frequency of 25 Hz is a, the average value of the scaling values in the frequency region of 20 to 30 is b, and the average value of the scaling values in the preset frequency range 0 to 100 is c If the frequency domain of audio data is analyzed to be about 25 Hz, any one of a, b, and c values can be applied.
  • the reference of the frequency domain to be analyzed of the audio data extracted in step S430 and the reference of the frequency domain of the scaling value in the database 110 applied in step S440.
  • the reference of the frequency domain may be analyzed of the audio data extracted in step S430 and the reference of the frequency domain of the scaling value in the database 110 applied in step S440.
  • the frequency within the database 110 closest to the frequency domain of the plosive of the extracted audio data A scaling value of the area can be applied.
  • information on a pair of audio data in the plosive section of the extracted audio data and a scaling value based thereon may be updated in the database 110 .
  • the updated scaling value may be a factor for updating the average value of the scaling values of adjacent frequency domains in the database 110 , and may be used to update the average value of the frequency range when included in a preset frequency range.
  • an update may be performed to extend the range of frequencies stored in the database 110 .
  • Audio data to which the scale value is applied may be output in a state in which the plosive sound is removed.
  • a band stop filter capable of attenuating the frequency band of the section to which the scaling value is applied while maintaining the remaining frequency range the same may be used.
  • This configuration is not limited, and may include a band-pass filter and other frequency-related filters.
  • the audio data in which the plosive sound in the frequency domain is corrected may be converted into the time interval domain for transmission.
  • it may be transformed into a time interval domain through inverse Fourier transform, and may be performed through a program in any computer language.
  • the transform method is not limited to the inverse Fourier transform, and may include any algorithm for transforming from a frequency domain to a time interval domain.
  • step S460 the audio data from which the plosive in the time interval region is removed may be provided to the user terminal 200 or the listener terminal 300 .
  • the state in which the plosive sound is removed may be reviewed. After the review, if an unremoved plosive is found or a new plosive section is generated, steps S410 to S450 may be repeated.
  • the server 100 may record audio data from which the plosive sound has been removed. After reviewing the recorded audio data, if a non-removed plosive is found or a new plosive section is generated, steps S410 to S450 may be repeated and the information in the database 110 in the server 100 may be updated. .
  • steps S410 to S460 may be omitted or repeated according to an embodiment of the present invention.
  • steps S420 to S440 may be repeated to implement audio data in which plosive sound removal is completed.
  • steps S410 to S460 may be repeatedly performed.
  • it is not limited to the illustrated configuration.
  • FIG. 5 is a graph showing an output value in a time interval region between a plosive sound and a chastity sound according to an embodiment of the present invention.
  • FIG. 6 is a graph illustrating a comparison of outputs in a frequency domain between a plosive sound and a chastity sound and a corrected sound according to the comparison according to an embodiment of the present invention.
  • a difference in output values of a plosive sound of a solid line and a pure sound of a dashed-dotted line corresponding to a specific pair of audio data can be numerically confirmed.
  • a scaling value can be derived from this numerical difference, and an average value of the scaling values derived for each frequency can be calculated.
  • the plosive sound of a pair of audio data is generally more strongly output than the chastity sound. shows that it can improve the listening ability of listeners.
  • FIG. 7 is a graph illustrating a scaling value versus a frequency according to an embodiment of the present invention. Referring to the graph of FIG. 7 , it can be seen that the scaling value for correcting the plosive sound may vary for each frequency domain. Furthermore, it can be interpreted that the more the information of the database 110 in the server 100 according to an embodiment is accumulated, the more the ratio of the output values of the corrected pair of audio data can be close to 1.
  • An embodiment of the present invention may also be implemented in the form of a recording medium including instructions executable by a computer, such as a program module to be executed by a computer.
  • Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media.
  • Computer-readable media may include both computer storage media and communication media.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • Communication media typically includes computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism, and includes any information delivery media.

Abstract

An audio data correction method, for removing plosives, performed by a server can comprise the steps of: collecting plosives and pure sounds, storing a scaling value and constructing a database; receiving audio data comprising an utterance of a specific person from a user terminal comprising or connected to a microphone; extracting audio data of a segment comprising plosives from the audio data on the basis of the database; correcting to remove the plosives from the extracted audio data on the basis of the database; and transmitting the corrected audio data to the user terminal or a listener terminal. The pure sounds are sounds not comprising plosives, and the scaling value is an output value ratio of plosives to pure sounds and is referred to as a correction value for removing the plosives from the audio data.

Description

파열음 제거를 위한 오디오데이터를 보정하는 방법 및 장치Method and apparatus for calibrating audio data for plosive sound removal
본 발명은 파열음 제거를 위한 오디오데이터를 보정하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for correcting audio data for plosive removal.
다양한 스마트 모빌리티의 확산으로 스튜디오를 방문하지 않고도 누구든지 쉽게 방송을 녹화하거나 송출할 수 있는 시대가 도래하였다. 이에 따라 팟캐스트, 라이브 스트리밍 등의 형태로 다양한 콘텐츠의 개인 미디어 체제가 발달하였고, 이러한 방송의 수요가 급증하는 추세이다.With the spread of various smart mobility, the era has arrived where anyone can easily record or broadcast a broadcast without visiting a studio. Accordingly, a personal media system of various contents in the form of podcasts and live streaming has developed, and the demand for such broadcasting is rapidly increasing.
그러나 개인 미디어 방송의 정확한 규정이나 라이센스가 구비되지 않아, 청취자들의 청취력을 저해하는 요소로 인해 녹음 품질이 저하되는 문제점이 있고, 라이브 방송인 경우에는 이러한 요소들이 여과 없이 송출된다.However, since accurate regulations or licenses for personal media broadcasting are not provided, there is a problem in that the recording quality is deteriorated due to factors that impair listeners' listening ability. In the case of live broadcasting, these factors are transmitted without filtration.
특히 마이크를 통하여 발화되는, P 또는 T 스펠링에 대한 발음을 포함하는 파열음은 타 발음에 비하여 강하게 출력되어, 발화자의 의사 전달력이 감쇄되는 요소가 될 수 있다. 기존에는 팝 필터나 오디오 인터페이스와 같은 보조 녹음 장비가 이러한 파열음을 방지하는 데 사용되었다. 그러나 이동성 스마트 모빌리티를 이용한 라이브 스트리밍인 경우, 이러한 보조장비는 사용이 불가능하며, 또한 위와 같은 보조장비는 비용이 많이 들기 때문에 개인이 시스템을 구축하여 방송하는 것은 무리가 있다. 나아가 이미 파열음이 녹음된 후에는 손상된 부분을 제거하기 힘든 문제점도 존재한다. In particular, a plosive sound uttered through a microphone, including a pronunciation for the P or T spelling, is output more strongly than other pronunciations, and may become a factor in which the speaker's communication ability is attenuated. In the past, auxiliary recording equipment, such as pop filters or audio interfaces, was used to prevent these plosives. However, in the case of live streaming using mobility smart mobility, such auxiliary equipment cannot be used, and since such auxiliary equipment is expensive, it is difficult for an individual to build a system and broadcast. Furthermore, there is a problem in that it is difficult to remove the damaged part after the plosive sound has already been recorded.
마이크가 포함되거나 연결된 사용자 단말로부터 특정인의 발화로 구성된 오디오데이터를 수신하여, 파열음을 추출하고, 기 구축된 데이터베이스 내에 있는 수신된 파열음과 대응하는 정보를 적용하여 해당 파열음의 출력을 보정함으로써, 보다 나은 음질의 청취가 가능한 파열음 제거를 위한 오디오데이터를 보정하는 방법 및 장치를 제공하고자 한다. By receiving audio data composed of a specific person's utterance from a user terminal including or connected to a microphone, extracting a plosive, and correcting the output of the plosive by applying information corresponding to the received plosive in a pre-established database, better An object of the present invention is to provide a method and an apparatus for correcting audio data for removing a plosive sound that can be heard in sound quality.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.However, the technical problems to be achieved by the present embodiment are not limited to the technical problems described above, and other technical problems may exist.
본 발명의 일 실시예에 따르는 파열음 제거를 위한 오디오데이터를 보정하는 방법은, 파열음과 순결음을 수집하고, 스케일링값을 저장하여 데이터베이스를 구축하는 단계; 마이크가 포함되거나 연결된 사용자 단말로부터 특정인의 발화로 구성된 오디오데이터를 수신하는 단계; 상기 데이터베이스에 기초하여, 상기 오디오데이터에서 파열음이 있는 구간의 오디오데이터를 추출하는 단계; 상기 데이터베이스에 기초하여, 상기 추출된 오디오데이터에서 파열음이 제거되도록 보정하는 단계; 및 상기 보정된 오디오데이터를 상기 사용자 단말 또는 청취자 단말로 송출하는 단계;를 포함한다.According to an embodiment of the present invention, a method for correcting audio data for removing plosives includes: collecting plosives and pure consonants, and building a database by storing scaling values; Receiving audio data composed of a speech of a specific person from a user terminal including a microphone or connected; extracting audio data of a section having a plosive sound from the audio data based on the database; correcting to remove plosive sounds from the extracted audio data based on the database; and transmitting the corrected audio data to the user terminal or the listener terminal.
본 발명의 일 실시예에 따르는 파열음 제거를 위한 오디오데이터를 보정하는 장치는, 파열음 제거를 위한 오디오데이터를 보정하는 방법에 관한 프로그램을 저장하는 메모리; 및상기 프로그램을 실행하는 프로세서;를 포함하며, 상기 프로세서는, 상기 프로그램 실행에 따라, 파열음과 순결음을 수집하고, 스케일링값을 저장하여 데이터베이스를 구축하고, 마이크가 포함되거나 연결된 사용자 단말로부터 특정인의 발화로 구성된 오디오데이터를 수신하고, 상기 데이터베이스에 기초하여, 상기 오디오데이터에서 파열음이 있는 구간의 오디오데이터를 추출하고, 상기 데이터베이스에 기초하여, 상기 추출된 오디오데이터에서 파열음이 제거되도록 보정하고, 상기 보정된 오디오데이터를 상기 사용자 단말 또는 청취자 단말로 송출하도록 구성되어, 파열음이 보정된 오디오를 제공할 수 있다.According to an embodiment of the present invention, an apparatus for correcting audio data for plosive removal includes a memory for storing a program related to a method for correcting audio data for plosive removal; and a processor for executing the program, wherein the processor collects plosives and chaste sounds according to the execution of the program, stores a scaling value to build a database, and selects a specific person from a user terminal including or connected to a microphone. receiving audio data composed of utterances, extracting audio data of a section having a plosive from the audio data based on the database, and correcting the extracted audio data to remove plosives based on the database; It is configured to transmit the corrected audio data to the user terminal or the listener terminal, so that it is possible to provide audio in which the plosive sound is corrected.
본 발명의 일 실시예에 따른 파열음은 P 또는 T 스펠링에 대한 발음을 포함하는 음을 의미할 수 있으며, 상기 순결음은 파열음을 포함하고 있지 않은 음을 의미하고, 상기 스케일링값은 파열음과 상기 순결음간의 출력값의 비율로서, 상기 오디오데이터로부터 파열음을 제거하기 위한 보정값을 의미한다. A plosive according to an embodiment of the present invention may mean a sound including a pronunciation for a P or T spelling, the chastity means a sound that does not include a plosive, and the scaling value is a plosive and the chastity. As a ratio of an output value between notes, it means a correction value for removing a plosive sound from the audio data.
본 발명의 일 실시예에 따르는 파열음 제거를 위한 오디오데이터를 보정하는 방법은, 상기 파열음 및 상기 순결음은 서로 동일한 발화자에 의해 동일한 용어로 발음된 한 쌍이 서로 매칭되어 상기 데이터베이스에 저장되되, 다른 용어에 대해, 다른 발화자가 발화한 복수의 파열음 및 순결음 쌍이 상기 데이터베이스에 추가로 저장되는 것이다. In the method of correcting audio data for plosive removal according to an embodiment of the present invention, the plosive and the chastity are stored in the database as a pair of the plosive and the chastity are pronounced with the same term by the same speaker and are matched with each other and stored in the database. , a plurality of pairs of plosives and chants uttered by other speakers are additionally stored in the database.
본 발명의 일 실시예에 따르는 파열음 제거를 위한 오디오데이터를 보정하는 방법은, 상기 파열음 및 상기 순결음을 고속 푸리에 변환을 통해 주파수 영역에서 분석하고 상기 파열음과 상기 순결음 간의 출력값의 비율을 기초로 상기 스케일링값을 도출하는 것이다.In a method of correcting audio data for plosive removal according to an embodiment of the present invention, the plosive and the pure sound are analyzed in a frequency domain through a fast Fourier transform, and based on the ratio of output values between the plosive and the pure sound to derive the scaling value.
본 발명의 일 실시예에 따르는 파열음 제거를 위한 오디오데이터를 보정하는 방법은, 상기 파열음 및 상기 순결음 쌍은 각기 다른 주파수 영역 별로 복수로 수집되는 것이다.In the method of correcting audio data for removing plosives according to an embodiment of the present invention, the plosive and the chastity pair are collected in plural for different frequency domains.
본 발명의 일 실시예에 따르는 상기 스케일링값은 각 주파수 영역 별로 수집된 전체 스케일링값의 평균값이나 기 설정된 주파수 영역 구간 별 스케일링값의 평균값일 수 있다.The scaling value according to an embodiment of the present invention may be an average value of all scaling values collected for each frequency domain or an average value of scaling values for each preset frequency domain section.
본 발명의 일 실시예에 따르는 파열음 제거를 위한 오디오데이터를 보정하는 방법은, 상기 오디오데이터에 파열음이 있는 구간에 대한 정보가 수신되는 경우, 상기 구간에 기초하여, 상기 오디오데이터의 파열음 구간을 추출하는 단계를 더 포함할 수 있다.In a method for correcting audio data for plosive removal according to an embodiment of the present invention, when information on a section having a plosive in the audio data is received, extracting a plosive section of the audio data based on the section It may further include the step of
본 발명의 일 실시예에 따르는 파열음 제거를 위한 오디오데이터를 보정하는 방법은, 상기 추출된 오디오데이터의 파열음의 주파수 영역과 대응하는 상기 데이터베이스에 저장된 주파수 영역의 스케일링값이 파악되는 경우, 상기 스케일링값을 적용하여, 상기 오디오데이터를 보정하는 것이다. 상기 추출된 오디오데이터의 파열음의 주파수 영역과 대응하는 상기 데이터베이스에 저장된 주파수 영역의 스케일링값이 파악되지 않는 경우, 상기 오디오데이터의 파열음의 주파수 영역과 가장 근접한 상기 데이터베이스에 저장된 주파수 영역의 스케일링값을 적용하여, 상기 오디오데이터를 보정하는 것일 수 있다.In the method of correcting audio data for plosive removal according to an embodiment of the present invention, when a scaling value of a frequency region stored in the database corresponding to a frequency region of a plosive of the extracted audio data is identified, the scaling value , to correct the audio data. When the scaling value of the frequency domain stored in the database corresponding to the frequency domain of the plosive of the extracted audio data is not recognized, the scaling value of the frequency domain stored in the database closest to the frequency domain of the plosive of the audio data is applied Thus, the audio data may be corrected.
본 발명의 일 실시예에 따르는 파열음 제거를 위한 오디오데이터를 보정하는 방법은, 상기 데이터베이스에 저장된 주파수 영역의 스케일링값에 대응하는 값이 검색되지 않는 파열음이 수신되는 경우, 상기 파열음에 대응하는 순결음, 및 상기 파열음과 순결음에 대한 스케일링값의 정보를 상기 데이터베이스에 업데이트하는 단계;를 포함할 수 있다.In the method of correcting audio data for plosive removal according to an embodiment of the present invention, when a plosive for which a value corresponding to a scale value of a frequency domain stored in the database is not retrieved is received, a pure sound corresponding to the plosive is received. , and updating information on scaling values for the plosive and chastity consonants in the database.
본 발명의 일 실시예에 따르는 파열음 제거를 위한 오디오데이터를 보정하는 방법은 컴퓨터 판독가능 기록매체에 프로그램으로 저장 될 수 있다.The method of correcting audio data for plosive removal according to an embodiment of the present invention may be stored as a program in a computer-readable recording medium.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.The above-described problem solving means are merely exemplary, and should not be construed as limiting the present invention. In addition to the exemplary embodiments described above, there may be additional embodiments described in the drawings and detailed description.
본 발명의 일 실시 예에 따른 파열음 제거를 위한 오디오데이터를 보정하는 방법은, 상대적으로 강한 발음인 파열음의 세기를 보정함으로써, 청취자들에게 발화자가 의도한 내용을 보다 정확하게 전달받을 수 있게 하여 청취력을 증대 시킬 수 있다.The method of correcting audio data for plosive removal according to an embodiment of the present invention improves listening ability by correcting the intensity of a plosive, which is a relatively strong pronunciation, so that listeners can more accurately receive the intended content of the speaker. can increase
본 발명의 일 시시 예에 따른 파열음 제거를 위한 오디오데이터를 보정하는 방법을 통하여 각 인터넷 방송 공급자들은 보다 나은 품질의 실시간 스트리밍 서비스를 제공할 수 있으며, 과도한 보조장비에 대한 비용을 절감시킬 수 있다.Through the method of correcting audio data for plosive removal according to an exemplary embodiment of the present invention, each Internet broadcasting provider can provide a better quality real-time streaming service and reduce the cost of excessive auxiliary equipment.
도 1은 본 발명의 일 실시예에 따른 파열음 제거를 위한 오디오데이터를 보정하여 제공하는 시스템을 나타내는 개념도이다.1 is a conceptual diagram illustrating a system for correcting and providing audio data for plosive removal according to an embodiment of the present invention.
도 2는 본 발명의 일 실시예에 따른 서버의 구성을 도시한 블록도이다.2 is a block diagram illustrating the configuration of a server according to an embodiment of the present invention.
도 3은 본 발명의 일 실시예에 따른 파열음 제거를 위한 오디오데이터 보정의 기초가 되는 데이터베이스를 구축하는 순서도이다.3 is a flowchart of constructing a database that is the basis of audio data correction for plosive removal according to an embodiment of the present invention.
도 4는 본 발명의 일 실시예에 따른 파열음 제거를 위한 오디오데이터를 보정하는 방법에 대한 순서도이다.4 is a flowchart of a method of correcting audio data for plosive removal according to an embodiment of the present invention.
도 5는 본 발명의 일 실시예에 따라, 파열음과 순결음 간 시구간 영역에서의 출력값을 나타내는 그래프이다.5 is a graph showing an output value in a time interval region between a plosive sound and a chastity sound according to an embodiment of the present invention.
도 6는 본 발명의 일 실시예에 따라, 파열음과 순결음 간 주파수 영역에서의 출력을 비교하고 그에 따른 보정음을 나타내는 그래프이다.6 is a graph illustrating a comparison of outputs in a frequency domain between a plosive sound and a chastity sound and a corrected sound according to the comparison according to an embodiment of the present invention.
도 7은 본 발명의 일 실시예에 따라, 주파수 대비 스케일링값을 나타내는 그래프이다.7 is a graph illustrating a scaling value versus a frequency according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily implement them. However, the present invention may be embodied in several different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification, when a part is "connected" with another part, this includes not only the case of being "directly connected" but also the case of being "electrically connected" with another element interposed therebetween. . Also, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.Some of the operations or functions described as being performed by the terminal or device in this specification may be instead performed by a server connected to the terminal or device. Similarly, some of the operations or functions described as being performed by the server may also be performed in a terminal or device connected to the server.
이하에서 언급되는 "단말"은 네트워크를 통해 서버나 타 단말에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet), LTE(Long Term Evolution) 통신 기반 단말, 스마트폰, 태블릿 PC 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 또한, "네트워크"는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.The "terminal" referred to below may be implemented as a computer or portable terminal that can access a server or other terminal through a network. Here, the computer includes, for example, a laptop, a desktop, and a laptop equipped with a web browser (WEB Browser), and the portable terminal is, for example, a wireless communication device that ensures portability and mobility. , IMT (International Mobile Telecommunication)-2000, CDMA (Code Division Multiple Access)-2000, W-CDMA (W-Code Division Multiple Access), Wibro (Wireless Broadband Internet), LTE (Long Term Evolution) communication-based terminal, smart It may include all types of handheld-based wireless communication devices such as a phone, a tablet PC, and the like. In addition, "network" refers to a wired network such as a local area network (LAN), a wide area network (WAN), or a value added network (VAN), or a mobile radio communication network or satellite. It may be implemented in any kind of wireless network such as a communication network.
이하에서 언급되는 "파열음"은 P 또는 T 스펠링의 발음을 포함하는 음 뿐만 아니라 이와 유사한 음도 포함한다. 예를 들어, "아메리카노" 의 용어에서 타 발음보다 강하게 발화되는 "카"의 "K" 발음도 이에 해당될 수 있다.The "bursting sound" referred to hereinafter includes not only the sound containing the pronunciation of the P or T spelling, but also sounds similar thereto. For example, the "K" pronunciation of "ka", which is uttered more strongly than other pronunciations in the term "Americano", may also correspond to this.
이하에서 언급되는 "순결음"은 동일한 발화자에 의해 언급된 동일한 용어 내에서 파열음을 포함하지 않은 음을 의미한다. 또한 "스케일링값"은 동일한 발화자에 의해 언급된 동일한 용어 내에서 매칭된 파열음과 순결음간 출력값의 비율로서, 상기 파열음의 출력값을 상기 순결음의 출력값에 근접하도록 보정하는 값을 의미한다. 또한 이하에서 언급되는 "한 쌍의 오디오데이터"는 특정 파열음과 이에 대응하는 순결음의 오디오데이터를 의미한다. As used below, "purity consonant" means a sound that does not include a plosive within the same term mentioned by the same speaker. In addition, the "scaling value" is the ratio of the output value between the plosive and the pure consonant matched within the same term mentioned by the same speaker. Also, "a pair of audio data" referred to below means audio data of a specific plosive sound and a corresponding pure sound.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다. Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 파열음 제거를 위한 오디오데이터를 보정하여 제공하는 시스템(1)을 나타내는 개념도이다.1 is a conceptual diagram illustrating a system 1 for correcting and providing audio data for plosive removal according to an embodiment of the present invention.
도 1을 참조하면, 일 실시 예에 따른 파열음 제거를 위한 오디오데이터를 보정하여 제공하는 시스템(1)은 서버(100), 사용자 단말(200) 및 청취자 단말(300)을 포함할 수 있다. 여기서 사용자 단말(200)은 마이크가 포함되거나 마이크가 연결되어 특정인의 발화로 구성된 오디오데이터를 서버에 입력하는 단말이다. 상기 오디오데이터는 미리 녹화되거나 녹음된 오디오데이터일 수도 있고, 실시간으로 발생되는 오디오데이터일 수도 있다. 예를 들어, 사용자 단말(200)은 네트워크를 통한 방송의 주체 측 단말일 수 있다. 또한 격지자 간 대화를 위해 사용되는 단말일 수도 있다. 여기서 특정인의 발화로 구성된 오디오데이터란 대화나 연설 및 가사가 있는 노래 등에 한정되지 않고 사람의 언어로서 표현 가능한 모든 소리를 포함할 수 있다.Referring to FIG. 1 , a system 1 for correcting and providing audio data for plosive removal according to an embodiment may include a server 100 , a user terminal 200 , and a listener terminal 300 . Here, the user terminal 200 is a terminal that includes a microphone or is connected to a microphone to input audio data composed of a specific person's utterance to the server. The audio data may be pre-recorded or recorded audio data, or audio data generated in real time. For example, the user terminal 200 may be a terminal on the subject side of broadcasting through a network. In addition, it may be a terminal used for a conversation between inter-interesters. Here, the audio data composed of a specific person's speech is not limited to dialogue, speech, and a song with lyrics, and may include all sounds that can be expressed in human language.
일 실시 예에 따른 파열음 제거를 위한 오디오데이터를 보정하여 제공하는 시스템(1)에서 사용자 단말(200)의 주체가 네트워크를 통한 방송의 주체인 경우, 해당 방송에서 제공하는 특정인의 발화로 구성된 전체 오디오데이터는 상기 네트워크에 구성된 서버(200)에 전송되어 파열음의 제거를 위해 보정되고, 이 보정된 오디오데이터는 사용자 단말(200) 또는 청취자 단말(300)에 수신되어 청취자들에게 보다 나은 품질의 방송을 제공할 수 있다. 또한 미리 녹화되거나 녹음된 오디오데이터를 송출하는 방송의 주체는 해당 오디오데이터 중 특정한 구간을 지정하여 파열음을 보정하도록 서버(100)에 입력할 수 있다. 예를 들어 전체 방송 중, 인터뷰 진행 구간의 오디오데이터만 지정하여 파열음을 보정하게 할 수 있다. 여기서 청취자 단말(300)은 방송을 시청하는 불특정 다수의 단말일 수 있다.When the subject of the user terminal 200 is the subject of a broadcast through the network in the system 1 for correcting and providing audio data for removing plosives according to an embodiment, full audio composed of the utterance of a specific person provided by the corresponding broadcast The data is transmitted to the server 200 configured in the network and corrected to remove the plosive, and the corrected audio data is received by the user terminal 200 or the listener terminal 300 to provide better quality broadcasting to the listeners. can provide In addition, the subject of a broadcast that transmits pre-recorded or recorded audio data may designate a specific section of the corresponding audio data and input it to the server 100 to correct a plosive sound. For example, during the entire broadcast, only audio data of the interview progress section can be designated to correct the plosive sound. Here, the listener terminal 300 may be an unspecified number of terminals that watch broadcasts.
일 실시 예에 따른 파열음 제거를 위한 오디오데이터를 보정하여 제공하는 시스템(1)에서 사용자 단말(200)이 격지자 간 대화에 사용되는 단말일 경우, 상호간 대화 오디오데이터는 각각의 단말에 구성된 서버(200)에 입력되어 파열음이 보정되고, 이를 대화 상대방 단말에 제공 할 수 있다. 여기서 각 사용자 단말(200)과 청취자 단말(300)은 실시간으로 역할이 교환될 수 있다. In the system 1 for providing and correcting audio data for removing plosives according to an embodiment, when the user terminal 200 is a terminal used for a conversation between a distant person, the mutual conversation audio data is transmitted to the server 200 configured in each terminal. ), the plosive sound is corrected, and it can be provided to the conversation partner terminal. Here, the roles of each user terminal 200 and the listener terminal 300 may be exchanged in real time.
한편, 서버(100)에 대한 자세한 설명은 도 2 및 도 3을 참조하여 후술한다. 또한, 상술한 예에서는 시스템(1) 설명을 위해 2가지 예를 들었지만, 이러한 구성에 한정되는 것은 아니다. Meanwhile, a detailed description of the server 100 will be described later with reference to FIGS. 2 and 3 . In addition, in the above example, two examples are given for the description of the system 1, but it is not limited to this configuration.
도 2는 본 발명의 일 실시예에 따른 서버의 구성을 도시한 블록도이다.2 is a block diagram illustrating the configuration of a server according to an embodiment of the present invention.
도 2를 참조하면, 일 실시예에 따른 파열음 제거를 위한 오디오데이터를 보정하는 서버(100)는 수집된 파열음과 순결음 및 도출된 스케일링값을 저장하는 데이터베이스(110)와 프로세서(120), 메모리(130) 및 통신모듈(140)을 포함할 수 있다. 이러한 구성에 한정되는 것은 아니며, 파열음 제거를 위한 오디오데이터를 보정에 수행되는 모든 장치가 포함 될 수 있다.Referring to FIG. 2 , the server 100 for correcting audio data for removing plosives according to an embodiment includes a database 110 for storing collected plosives and chaste sounds and the derived scaling values, a processor 120 , and a memory. 130 and the communication module 140 may be included. It is not limited to this configuration, and may include any device for correcting audio data for plosive sound removal.
먼저, 메모리(130)에는 한 쌍의 오디오데이터를 수집하는 프로그램, 한 쌍의 오디오데이터의 스케일링값 및 그 평균값을 도출하는 프로그램, 사용자 단말(200)로부터 입력된 오디오데이터의 파열음을 추출하는 프로그램, 상기 파열음의 스케일링값 및 그 평균값을 도출하는 프로그램, 시구간 영역과 주파수 영역 상호 간 오디오데이터를 변환하는 프로그램, 특정 주파수 구간을 설정하고 분류하는 프로그램, 새로운 오디오데이터의 정보를 데이터베이스(110)에 업데이트하는 프로그램, 파열음이 제거된 오디오데이터를 녹음하는 프로그램이 저장 될 수 있다. 물론 이러한 구성에 한정되는 것은 아니다. First, in the memory 130, a program for collecting a pair of audio data, a program for deriving a scaling value and an average value of the pair of audio data, a program for extracting a burst of audio data input from the user terminal 200; A program for deriving the scaling value and the average value of the plosive sound, a program for converting audio data between the time section domain and the frequency domain, a program for setting and classifying a specific frequency section, and updating information on new audio data to the database 110 A program for recording audio data from which plosives have been removed may be stored. Of course, it is not limited to this configuration.
통신 모듈(140)은 서버(100)가 네트워크를 통하여 다른 단말들과 통신할 수 있도록 하는 역할을 수행한다.The communication module 140 serves to enable the server 100 to communicate with other terminals through a network.
프로세서(120)는 이하 상술할 서버(100)의 파열음 제거를 위한 오디오데이터를 보정하는 방법에 관한 전반적인 동작을 제어한다. The processor 120 controls the overall operation of the method of correcting the audio data for removing the plosive sound of the server 100, which will be described below.
도 3은 본 발명의 일 실시예에 따른 파열음 제거를 위한 오디오데이터 보정의 기초가 되는 데이터베이스를 구축하는 순서도이다.3 is a flowchart of constructing a database that is the basis of audio data correction for plosive removal according to an embodiment of the present invention.
도 3을 참조하면, 단계 S310에서 서버(100)는 복수의 한 쌍의 오디오데이터를 수집할 수 있다. 먼저, 파열음이 포함된 특정 용어와 이와 동일한 용어로 동일한 발화자에 의한 순결음을 동시에 서버(100)에 입력할 수 있다. 예를 들어 동일한 발화자의 파열음이 포함된 '파도'란 용어와 '파'의 'P'발음이 없는 순결음을 입력할 수 있다. 이 경우, 마이크를 통한 실시간 입력이나 기 녹음된 저장매체를 통한 입력을 할 수 있으며, 구성에 한정 없이 모든 레코드 장치를 사용할 수 있다. 위와 같은 입력은 동일한 발화자의 동일한 용어를 다양한 주파수 영역에서 입력할 수도 있으며, 다른 발화자가 발화한 다른 용어를 다양한 주파수 영역에서 입력할 수도 있다. 여기서 다양한 주파수 영역은 다양한 음역대를 의미한다. 또한 입력되는 파열음을 포함한 오디오데이터는 단어 단위로 한정되지 않고, 문장 단위도 될 수 있으며, 긴 문단이나 특정 프로그램의 음원이 될 수도 있다. 이 경우 한 쌍의 오디오데이터 구간을 기 지정하여 입력할 수 있고, 데이터베이스(110) 내 축적된 오디오데이터를 기초로 입력할 수도 있다. Referring to FIG. 3 , in step S310 , the server 100 may collect a plurality of pairs of audio data. First, a specific term including a plosive sound and a chastity sound by the same speaker using the same term may be simultaneously input to the server 100 . For example, the term 'wave' containing a plosive of the same speaker and a pure sound without the 'P' pronunciation of 'pa' can be input. In this case, real-time input through a microphone or input through a pre-recorded storage medium may be performed, and any recording device may be used without limitation in configuration. In the above input, the same term from the same speaker may be inputted in various frequency domains, or different terms uttered by different speakers may be inputted in various frequency domains. Here, various frequency ranges mean various sound ranges. In addition, audio data including input plosives are not limited to word units, but may also be sentence units, long paragraphs, or sound sources of a specific program. In this case, a pair of audio data sections may be previously designated and input, or may be input based on audio data accumulated in the database 110 .
단계 S320에서 단계 S310에서 입력된 시구간 영역의 각 한 쌍의 오디오데이터는 주파수 영역에서 분석될 수 있다. 이 경우, 한 쌍의 오디오데이터는 고속 푸리에 변환을 통하여 주파수 영역으로 변환될 수 있으며, 모든 컴퓨터 언어로 이루어진 프로그램을 통하여 수행될 수 있다. 물론 변환 방법은 고속 푸리에 변환에 한정되지 않으며, 시구간 영역에서 주파수 영역으로 변환하는 모든 알고리즘을 포함 할 수 있다. 고속 푸리에 변환을 통하여 변환된 전체 한 쌍의 오디오데이터는 주파수 영역 별로 분류될 수 있다. 이 경우 주파수 영역의 분류 기준은 임의로 설정할 수 있다. 예를 들어, 10헤르쯔 단위로 할 수도 있고, 100헤르쯔 단위로 할 수도 있다. 또한 분류된 주파수 영역의 전체나 일부를 합쳐 구간을 설정할 수 있다. 나아가 한 쌍의 오디오데이터는 스펙트로그램으로 시각화되어 시구간과 주파수 영역에서 한번에 분석될 수 있으며, 고속 푸리에 변환 플로팅이나 오디오 플로팅으로 시각화되어 주파수 영역 별 출력값의 차이가 분석될 수 있다. 물론 시각화되는 그래프의 구성은 이에 한정되지 않는다.In step S320, each pair of audio data input in step S310 in the time period domain may be analyzed in the frequency domain. In this case, the pair of audio data may be converted into a frequency domain through fast Fourier transform, and may be performed through a program in any computer language. Of course, the transform method is not limited to the fast Fourier transform, and may include any algorithm for transforming from a time period domain to a frequency domain. The entire pair of audio data transformed through the fast Fourier transform may be classified for each frequency domain. In this case, the classification criteria of the frequency domain can be arbitrarily set. For example, it may be set in units of 10 Hz, or may be set in units of 100 Hz. In addition, a section can be set by combining all or a part of the classified frequency domain. Furthermore, a pair of audio data may be visualized as a spectrogram and analyzed at once in a time period and a frequency domain, and may be visualized by fast Fourier transform plotting or audio plotting to analyze a difference in output values for each frequency domain. Of course, the configuration of the graph to be visualized is not limited thereto.
단계 S330에서 각 주파수 영역 별로 분류된 한 쌍의 오디오데이터들의 스케일링값이 도출 될 수 있다. 또한 각 주파수 영역 별로 도출된 스케일링값의 평균값이 산출 될 수 있다. 또한 단계 S320에서 기 설정된 주파수 영역 구간이 존재하는 경우, 이 구간에 해당하는 스케일링값들의 평균값이 산출 될 수 있다. 이하 관련된 내용은 도 6 및 도 7에서 후술한다.In step S330, a scaling value of a pair of audio data classified for each frequency domain may be derived. Also, an average value of the scaling values derived for each frequency domain may be calculated. In addition, when a preset frequency domain section exists in step S320, an average value of scaling values corresponding to this section can be calculated. Hereinafter, related contents will be described with reference to FIGS. 6 and 7 .
단계 S340에서 단계 S320에서 분석된 각 한 쌍의 오디오데이터에 대한 정보가 데이터베이스(110)에 저장 될 수 있다. 또한 단계 S330에서 도출된 각 한 쌍의 오디오데이터들의 스케일링값이 저장 될 수 있다. 또한 분류된 주파수 영역 별로 한 쌍의 오디오데이터의 정보와 스케일링값이 수집되어 저장될 수 있다. 또한 각 주파수 영역 별로 산출된 평균값이 저장될 수 있으며, 단계 S320에서 기 설정된 주파수 영역 구간이 존재하는 경우, 단계 S330에서 산출된 해당 구간의 평균값이 저장될 수 있다. 나아가 저장된 데이터베이스(110)의 정보는 한 쌍의 오디오데이터, 스케일링값 및 평균값의 카테고리로 목록화 될 수 있으며, 분류된 주파수 영역 및 기 설정된 주파수 영역 구간 별로 목록화 될 수 있다. 물론 목록화되는 구성은 이에 한정되지 않는다.In step S340 , information on each pair of audio data analyzed in step S320 may be stored in the database 110 . Also, a scaling value of each pair of audio data derived in step S330 may be stored. In addition, information and scaling values of a pair of audio data may be collected and stored for each classified frequency domain. In addition, the average value calculated for each frequency domain may be stored, and when a preset frequency domain section exists in step S320, the average value of the corresponding section calculated in step S330 may be stored. Furthermore, the stored information of the database 110 may be listed in categories of a pair of audio data, scaling values, and average values, and may be listed for each classified frequency domain and preset frequency domain section. Of course, the listed configuration is not limited thereto.
상술한 설명에서, 단계 S310 내지 S340은 본 발명의 일 실시예에 따라, 일부 단계는 필요에 따라 생략될 수도 있고, 반복될 수도 있다. In the above description, steps S310 to S340 may be omitted or repeated if necessary, according to an embodiment of the present invention.
도 4는 본 발명의 일 실시예에 따른 파열음 제거를 위한 오디오데이터를 보정하는 방법에 대한 순서도이다.4 is a flowchart of a method of correcting audio data for plosive removal according to an embodiment of the present invention.
도 4에 따르는 단계 S410 내지 단계 S460의 프로세스는 단계 S310 내지 S340 의 프로세스를 통한 데이터베이스(110) 가 구축이 된 후에 수행될 수 있다.The processes of steps S410 to S460 according to FIG. 4 may be performed after the database 110 through the processes of steps S310 to S340 is built.
도 4에 따르면, 단계 S410에서 사용자 단말(200)로부터 파열음이 포함된 오디오데이터가 서버(100)로 입력된다. According to FIG. 4 , audio data including a plosive sound is input from the user terminal 200 to the server 100 in step S410 .
단계 S420에서 서버(100)는 입력된 오디오데이터를 수신하고 해당 오디오데이터의 파열음 구간을 추출한다. 수신된 오디오데이터 중 단계 S340에서 구축된 데이터베이스(110)에 저장된 한 쌍의 오디오데이터의 정보에 상응하는 파열음 구간이 검색되는 경우, 이러한 파열음 구간을 자동적으로 추출 할 수 있다. 또한 사용자 단말(200)에 의하여 수동적으로 추출 될 수 있다. 이 경우, 사용자 단말(200)은 사용자가 입력한 오디오데이터를 출력한 후, 사용자로부터 파열음 구간에 관해 기 지정된 입력을 수신하고, 이를 서버(100)에 전송할 수 있다.In step S420, the server 100 receives the input audio data and extracts a plosive sound section of the audio data. When a plosive sound section corresponding to information of a pair of audio data stored in the database 110 built in step S340 among the received audio data is searched for, such a plosive sound section can be automatically extracted. Also, it may be manually extracted by the user terminal 200 . In this case, after outputting the audio data input by the user, the user terminal 200 may receive a predetermined input regarding a plosive section from the user and transmit it to the server 100 .
단계 S430에서 추출된 시구간 영역의 파열음 구간 오디오데이터가 주파수 영역에서 분석될 수 있다. 추출된 파열음 구간 오디오데이터는 고속 푸리에 변환을 통하여 주파수 영역으로 변환될 수 있으며, 모든 컴퓨터 언어로 이루어진 프로그램을 통하여 수행될 수 있다. 물론 변환 방법은 고속 푸리에 변환에 한정되지 않으며, 시구간 영역에서 주파수 영역으로 변환하는 모든 알고리즘을 포함 할 수 있다. 이 경우, 각 파열음 구간의 주파수 영역과 상응하는 주파수 영역의 데이터베이스(110)에 저장된 한 쌍의 오디오데이터의 정보를 검색하여 출력값의 차이를 분석 할 수 있다. 또한 추출된 파열음 구간의 전체나 일부의 주파수 영역을 평균하여, 이 평균 주파수 영역을 기준으로 데이터베이스(110)의 정보를 검색 할 수 있다. 나아가 데이터베이스(110)내 분류된 주파수 영역 및 기 설정된 주파수 영역 구간을 기준으로 분석 할 수 있다. The audio data of the plosive sound section of the time section extracted in step S430 can be analyzed in the frequency domain. The extracted plosive section audio data may be converted into a frequency domain through fast Fourier transform, and may be performed through a program in any computer language. Of course, the transform method is not limited to the fast Fourier transform, and may include any algorithm for transforming from a time period domain to a frequency domain. In this case, information on a pair of audio data stored in the database 110 in the frequency domain corresponding to the frequency domain of each plosive sound section may be searched to analyze the difference in output values. In addition, by averaging all or part of the frequency domain of the extracted plosive sound section, information in the database 110 may be searched based on the average frequency domain. Furthermore, analysis may be performed based on the frequency domain classified in the database 110 and a preset frequency domain section.
단계 S440에서 단계 S430에서 수행된 오디오데이터의 주요 주파수 영역을 참고하여, 데이터베이스(110)으로부터 해당하는 주파수 영역의 스케일링값을 검색하고, 검색된 스케일링값을 오디오데이터에 적용할 수 있다. 이 경우, 공통된 주파수 영역을 포함한 데이터베이스(110)내 목록화된 스케일링값 및 평균값 중 어느 하나를 검색하여 적용할 수 있다. 예를 들어, 데이터베이스(110)내 주파수 25헤르쯔의 한 쌍의 오디오데이터의 정보가 존재하고, 주파수 영역 분류 기준을 10헤르쯔 단위로 하였으며, 각 주파수 영역을 합친 100헤르쯔 단위의 구간이 기 설정된 경우, 주파수 25헤르쯔의 한 쌍의 오디오데이터에 대한 스케일링값을 a, 주파수 20~30 영역의 스케일링값의 평균값을 b, 기 설정된 주파수 0~100 구간의 스케일링값의 평균값을 c라고 가정하여, 추출된 파열음 오디오데이터의 주파수 영역이 약 25헤르쯔로 분석이 되었다면, a, b, c 값 중 어느 하나를 적용할 수 있다.In step S440, a scaling value of a corresponding frequency domain may be retrieved from the database 110 with reference to the main frequency domain of the audio data performed in step S430, and the retrieved scaling value may be applied to the audio data. In this case, any one of the scaling values and the average values listed in the database 110 including the common frequency domain may be searched and applied. For example, if information on a pair of audio data with a frequency of 25 Hz exists in the database 110, the frequency domain classification standard is set to 10 Hz, and a section of 100 Hz unit including each frequency domain is preset, A plosive sound extracted by assuming that a scaling value for a pair of audio data of a frequency of 25 Hz is a, the average value of the scaling values in the frequency region of 20 to 30 is b, and the average value of the scaling values in the preset frequency range 0 to 100 is c If the frequency domain of audio data is analyzed to be about 25 Hz, any one of a, b, and c values can be applied.
따라서, 단계 S430에서 추출된 오디오데이터의 분석되는 주파수 영역의 기준과 단계 S440에서 적용되는 데이터베이스(110)내 스케일링값의 주파수 영역의 기준을 설정할 수 있다. 예를 들어 촘촘한 주파수 영역의 분류를 설정하는 경우, 보다 정밀한 파열음의 보정이 가능할 것이며, 넓은 주파수 영역의 기준을 설정하는 경우, 보다 빠른 파열음 보정 프로세스가 수행될 수 있다.Accordingly, it is possible to set the reference of the frequency domain to be analyzed of the audio data extracted in step S430 and the reference of the frequency domain of the scaling value in the database 110 applied in step S440. For example, in the case of setting the classification of a dense frequency domain, more precise plosive correction will be possible, and in the case of setting a standard for a wide frequency region, a faster plosive correction process may be performed.
단계 S440에서 추출된 오디오데이터의 파열음의 주파수 영역과 대응하는 데이터베이스(110)에 저장된 주파수 영역의 스케일링값이 파악되지 않는 경우, 추출된 오디오데이터의 파열음의 주파수 영역과 가장 근접한 데이터베이스(110) 내 주파수 영역의 스케일링값을 적용할 수 있다. 이 경우, 추출된 오디오데이터의 파열음 구간의 한 쌍의 오디오데이터의 정보와 이에 기초한 스케일링값을 데이터베이스(110)에 업데이트 할 수 있다. 또한 업데이트된 스케일링값은 데이터베이스(110)내 근접한 주파수 영역의 스케일링값의 평균값을 업데이트하는 요소가 될 수 있으며, 기 설정된 주파수 구간 내 포함되는 경우 그 주파수 구간의 평균값을 업데이트하는 데 이용될 수 있다. 나아가 데이터베이스(110)에 저장된 전체 주파수 영역을 벗어난 오디오데이터의 주파수 영역이 수신되는 경우, 데이터베이스(110)내 저장된 주파수의 범위를 확장시키는 업데이트를 할 수 있다. When the scaling value of the frequency domain stored in the database 110 corresponding to the frequency domain of the plosive of the audio data extracted in step S440 is not recognized, the frequency within the database 110 closest to the frequency domain of the plosive of the extracted audio data A scaling value of the area can be applied. In this case, information on a pair of audio data in the plosive section of the extracted audio data and a scaling value based thereon may be updated in the database 110 . In addition, the updated scaling value may be a factor for updating the average value of the scaling values of adjacent frequency domains in the database 110 , and may be used to update the average value of the frequency range when included in a preset frequency range. Furthermore, when a frequency domain of audio data out of the entire frequency domain stored in the database 110 is received, an update may be performed to extend the range of frequencies stored in the database 110 .
스케일랑값이 적용된 오디오데이터는 파열음이 제거된 상태로 출력될 수 있다. 이 경우, 스케일링값이 적용되는 구간의 주파수 대역을 감쇠시키면서 나머지 주파수 범위는 동일하게 유지시킬 수 있는 대역 정지 필터를 이용할 수 있다. 이러한 구성이 한정되는 것은 아니며, 대역 통과 필터를 비롯한 기타 주파수 관련 필터를 포함할 수 있다.Audio data to which the scale value is applied may be output in a state in which the plosive sound is removed. In this case, a band stop filter capable of attenuating the frequency band of the section to which the scaling value is applied while maintaining the remaining frequency range the same may be used. This configuration is not limited, and may include a band-pass filter and other frequency-related filters.
단계 S450에서 주파수 영역의 파열음이 보정된 오디오데이터는 송출을 위해 시구간 영역으로 변환될 수 있다. 이 경우 역 푸리에 변환을 통하여 시구간 영역으로 변환될 수 있으며, 모든 컴퓨터 언어로 이루어진 프로그램을 통하여 수행될 수 있다. 물론 변환 방법은 역 푸리에 변환에 한정되지 않으며, 주파수 영역에서 시구간 영역으로 변환하는 모든 알고리즘을 포함 할 수 있다. In step S450, the audio data in which the plosive sound in the frequency domain is corrected may be converted into the time interval domain for transmission. In this case, it may be transformed into a time interval domain through inverse Fourier transform, and may be performed through a program in any computer language. Of course, the transform method is not limited to the inverse Fourier transform, and may include any algorithm for transforming from a frequency domain to a time interval domain.
단계 S460에서 시구간 영역의 파열음이 제거된 오디오데이터는 사용자 단말(200) 또는 청취자 단말(300)으로 제공될 수 있다. 사용자 단말(200)로 제공되는 경우, 파열음이 제거된 상태를 검토할 수 있다. 검토 후, 제거되지 않은 파열음이 발견되거나 새로운 파열음 구간이 생긴 경우에는, 단계 S410 내지 단계 S450을 반복하여 수행할 수 있다. In step S460 , the audio data from which the plosive in the time interval region is removed may be provided to the user terminal 200 or the listener terminal 300 . When provided to the user terminal 200, the state in which the plosive sound is removed may be reviewed. After the review, if an unremoved plosive is found or a new plosive section is generated, steps S410 to S450 may be repeated.
청취자 단말(300)로 바로 제공되는 경우, 서버(100)에서 파열음이 제거된 오디오데이터를 녹음할 수 있다. 녹음된 오디오데이터를 검토 후, 제거되지 않은 파열음이 발견되거나 새로운 파열음 구간이 생긴 경우에는, 단계 S410 내지 단계 S450을 반복하여 수행하고, 서버(100) 내 데이터베이스(110)의 정보를 업데이트 할 수 있다. When provided directly to the listener terminal 300 , the server 100 may record audio data from which the plosive sound has been removed. After reviewing the recorded audio data, if a non-removed plosive is found or a new plosive section is generated, steps S410 to S450 may be repeated and the information in the database 110 in the server 100 may be updated. .
상술한 설명에서, 단계 S410 내지 S460은 본 발명의 실시예에 따라 일부 단계는 필요에 따라 생략될 수도 있고, 반복될 수도 있다. 예를 들어, 녹음된 방송 오디오데이터를 송출하는 경우에는, 단계 S420 내지 S440이 반복되어 파열음 제거가 완성된 오디오데이터를 구현할 수 있다. 실시간 스트리밍 방송 오디오데이터를 송출하는 경우에는, 단계 S410 내지 S460이 반복되어 수행 될 수 있다. 물론 예시된 구성에 한정되는 것은 아니다.In the above description, steps S410 to S460 may be omitted or repeated according to an embodiment of the present invention. For example, in the case of transmitting recorded broadcast audio data, steps S420 to S440 may be repeated to implement audio data in which plosive sound removal is completed. In the case of transmitting real-time streaming broadcast audio data, steps S410 to S460 may be repeatedly performed. Of course, it is not limited to the illustrated configuration.
도 5는 본 발명의 일 실시예에 따라, 파열음과 순결음 간 시구간 영역에서의 출력값을 나타내는 그래프이다. 5 is a graph showing an output value in a time interval region between a plosive sound and a chastity sound according to an embodiment of the present invention.
도 5의 (A)그래프를 참조하면, 동시에 송출되는 한 쌍의 오디오데이터의 출력값의 차이가 미미하다고 볼 수 있다. 그러나 (A)그래프의 한 쌍의 오디오데이터가 존재하는 특정 시구간 영역을 확대하면, (C)그래프에서 보여지듯이, 동시에 송출되는 한 쌍의 오디오의 출력값의 차이를 확인할 수 있다. Referring to the graph (A) of FIG. 5 , it can be seen that the difference in output values of a pair of simultaneously transmitted audio data is insignificant. However, if the specific time period area in which a pair of audio data exists in the graph (A) is enlarged, as shown in the graph (C), the difference in the output values of a pair of audio simultaneously transmitted can be confirmed.
도 6는 본 발명의 일 실시예에 따라, 파열음과 순결음 간 주파수 영역에서의 출력을 비교하고 그에 따른 보정음을 나타내는 그래프이다.6 is a graph illustrating a comparison of outputs in a frequency domain between a plosive sound and a chastity sound and a corrected sound according to the comparison according to an embodiment of the present invention.
도 6의 그래프를 참조하면, 특정한 한 쌍의 오디오데이터인 실선의 파열음과 이에 대응하는 일점쇄선의 순결음의 출력값의 차이를 수치상으로 확인할 수 있다. 이러한 수치상의 차이를 각 주파수 별로 다양한 한 쌍의 오디오를 수집 후 데이터화하여 스케일링값을 도출하고, 각 주파수 별로 도출한 스케일링값의 평균값을 산출 할 수 있다. 또한 도 6의 그래프를 참조하면, 한 쌍의 오디오데이터의 파열음이 순결음보다 일반적으로 강하게 출력되는 것을 확인할 수 있으며, 일 실시예에 따른 파열음의 보정을 거친 점선의 보정음은 순결음과 가까운 출력값을 가지게 되어, 청취자들의 청취력을 향상시킬 수 있다는 것을 보여준다. Referring to the graph of FIG. 6 , a difference in output values of a plosive sound of a solid line and a pure sound of a dashed-dotted line corresponding to a specific pair of audio data can be numerically confirmed. After collecting various pairs of audio for each frequency, a scaling value can be derived from this numerical difference, and an average value of the scaling values derived for each frequency can be calculated. Also, referring to the graph of FIG. 6 , it can be seen that the plosive sound of a pair of audio data is generally more strongly output than the chastity sound. shows that it can improve the listening ability of listeners.
도 7은 본 발명의 일 실시예에 따라, 주파수 대비 스케일링값을 나타내는 그래프이다. 도 7의 그래프를 참조하면, 주파수 영역 별로 파열음을 보정하는 스케일링 값이 달라질 수 있다는 것을 확인할 수 있다. 나아가 일 실시예에 따른 서버(100)내 데이터베이스(110)의 정보가 축적될수록, 보정된 한 쌍의 오디오데이터의 출력값의 비율을 1에 가깝게 할 수 있다는 것을 해석할 수 있다.7 is a graph illustrating a scaling value versus a frequency according to an embodiment of the present invention. Referring to the graph of FIG. 7 , it can be seen that the scaling value for correcting the plosive sound may vary for each frequency domain. Furthermore, it can be interpreted that the more the information of the database 110 in the server 100 according to an embodiment is accumulated, the more the ratio of the output values of the corrected pair of audio data can be close to 1.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.An embodiment of the present invention may also be implemented in the form of a recording medium including instructions executable by a computer, such as a program module to be executed by a computer. Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, computer-readable media may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically includes computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism, and includes any information delivery media.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.The above description of the present invention is for illustration, and those of ordinary skill in the art to which the present invention pertains can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims rather than the above detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be interpreted as being included in the scope of the present invention. do.

Claims (13)

  1. 서버에 의해 수행되는, 파열음 제거를 위한 오디오데이터를 보정하는 방법 에 있어서,A method of correcting audio data for plosive sound removal performed by a server, the method comprising:
    파열음과 순결음을 수집하고, 스케일링값을 저장하여 데이터베이스를 구축하는 단계; building a database by collecting plosives and chaste sounds and storing scaling values;
    마이크가 포함되거나 연결된 사용자 단말로부터 특정인의 발화로 구성된 오디오데이터를 수신하는 단계;Receiving audio data composed of a speech of a specific person from a user terminal including a microphone or connected;
    상기 데이터베이스에 기초하여, 상기 오디오데이터에서 파열음이 있는 구간의 오디오데이터를 추출하는 단계;extracting audio data of a section having a plosive sound from the audio data based on the database;
    상기 데이터베이스에 기초하여, 상기 추출된 오디오데이터에서 파열음이 제거되도록 보정하는 단계; 및correcting to remove plosive sounds from the extracted audio data based on the database; and
    상기 보정된 오디오데이터를 상기 사용자 단말 또는 청취자 단말로 송출하는 단계;를 포함하되,Transmitting the corrected audio data to the user terminal or the listener terminal; including,
    상기 순결음은 파열음을 포함하고 있지 않은 음을 의미하며, 상기 스케일링값은 파열음과 상기 순결음간 출력값의 비율로서, 상기 오디오데이터로부터 파열음을 제거하기 위한 보정값을 의미하는 것인, 파열음 제거를 위한 오디오데이터를 보정하는 방법.The pure consonant means a sound that does not include a plosive, and the scaling value is a ratio of an output value between the plosive and the pure consonant, which means a correction value for removing the plosive from the audio data. How to correct audio data.
  2. 제 1항에 있어서,The method of claim 1,
    상기 파열음은 P 또는 T 스펠링에 대한 발음을 포함하는 음을 의미하는 것인, 파열음 제거를 위한 오디오데이터를 보정하는 방법.The method for correcting audio data for removing a plosive, wherein the plosive means a sound including a pronunciation for P or T spelling.
  3. 제 1항에 있어서,The method of claim 1,
    상기 파열음 및 상기 순결음은 서로 동일한 발화자에 의해 동일한 용어로 발음된 한 쌍이 서로 매칭되어 상기 데이터베이스에 저장되되, 다른 용어에 대해, 다른 발화자가 발화한 복수의 파열음 및 순결음 쌍이 상기 데이터베이스에 추가로 저장되는 것인, 파열음 제거를 위한 오디오데이터를 보정하는 방법.A pair of plosives and chaste consonants pronounced by the same speaker by the same speaker is matched with each other and stored in the database, and for different terms, a plurality of plosive and chastity pairs uttered by different speakers are added to the database A method of correcting audio data for plosive removal that is stored.
  4. 제 1항에 있어서,The method of claim 1,
    상기 파열음 및 상기 순결음을 고속 푸리에 변환을 통해 주파수 영역에서 분석하고 상기 파열음과 상기 순결음 간의 출력값의 비율을 기초로 상기 스케일링값을 도출하는 것인, 파열음 제거를 위한 오디오데이터를 보정하는 방법.The method for correcting audio data for removing plosives, wherein the plosive and the chastity are analyzed in a frequency domain through a fast Fourier transform and the scaling value is derived based on a ratio of an output value between the plosive and the chastity.
  5. 제 1항에 있어서,The method of claim 1,
    상기 파열음 및 상기 순결음 쌍은 각기 다른 주파수 영역 별로 복수로 수집되는 것인, 파열음 제거를 위한 오디오데이터를 보정하는 방법.The method of correcting audio data for removing a plosive, wherein the plosive and the chastity pair are collected in plurality for each different frequency domain.
  6. 제 5항에 있어서,6. The method of claim 5,
    상기 스케일링값은 각 주파수 영역 별로 수집된 전체 스케일링값의 평균값인, 파열음 제거를 위한 오디오데이터를 보정하는 방법.The scaling value is an average value of all scaling values collected for each frequency domain.
  7. 제 1항에 있어서,The method of claim 1,
    상기 스케일링값은 기 설정된 주파수 영역 구간 별 스케일링값의 평균값인, 파열음 제거를 위한 오디오데이터를 보정하는 방법.The method of correcting audio data for plosive sound removal, wherein the scaling value is an average value of a preset scaling value for each frequency domain section.
  8. 제 1항에 있어서,The method of claim 1,
    상기 오디오데이터에 파열음이 있는 구간에 대한 정보가 수신되는 경우, 상기 구간에 기초하여, 상기 오디오데이터의 파열음 구간을 추출하는 단계를 더 포함하는 것인, 파열음 제거를 위한 오디오데이터를 보정하는 방법.The method of claim 1, further comprising the step of extracting a plosive sound section of the audio data based on the section when information on a section having a plosive in the audio data is received.
  9. 제 1항에 있어서,The method of claim 1,
    상기 추출된 오디오데이터의 파열음의 주파수 영역과 대응하는 상기 데이터베이스에 저장된 주파수 영역의 스케일링값이 파악되는 경우, 상기 스케일링값을 적용하여, 상기 오디오데이터를 보정하는 것인, 파열음 제거를 위한 오디오데이터를 보정하는 방법.When the scaling value of the frequency domain stored in the database corresponding to the frequency domain of the plosive of the extracted audio data is identified, the scaling value is applied to correct the audio data, audio data for removing plosives How to correct.
  10. 제 1항에 있어서,The method of claim 1,
    상기 추출된 오디오데이터의 파열음의 주파수 영역과 대응하는 상기 데이터베이스에 저장된 주파수 영역의 스케일링값이 파악되지 않는 경우, 상기 오디오데이터의 파열음의 주파수 영역과 가장 근접한 상기 데이터베이스에 저장된 주파수 영역의 스케일링값을 적용하여, 상기 오디오데이터를 보정하는 것인, 파열음 제거를 위한 오디오데이터를 보정하는 방법.When the scaling value of the frequency domain stored in the database corresponding to the frequency domain of the plosive of the extracted audio data is not recognized, the scaling value of the frequency domain stored in the database closest to the frequency domain of the plosive of the audio data is applied and correcting the audio data, a method of correcting audio data for removing a plosive sound.
  11. 제 1항에 있어서,The method of claim 1,
    상기 데이터베이스에 저장된 주파수 영역의 스케일링값에 대응하는 값이 검색되지 않는 파열음이 수신되는 경우, 상기 파열음에 대응하는 순결음, 및 상기 파열음과 순결음에 대한 스케일링값의 정보를 상기 데이터베이스에 업데이트하는 단계;를 포함하는, 파열음 제거를 위한 오디오데이터를 보정하는 방법.When a plosive for which a value corresponding to the scaling value of the frequency domain stored in the database is not retrieved is received, updating information on a pure consonant corresponding to the plosive, and scaling values for the plosive and the chastity in the database; ; A method of correcting audio data for plosive removal, including.
  12. 파열음 제거를 위한 오디오데이터를 보정하는 장치에 있어서,An apparatus for correcting audio data for plosive removal, comprising:
    파열음 제거를 위한 오디오데이터를 보정하는 방법에 관한 프로그램을 저장하는 메모리; 및a memory for storing a program related to a method of correcting audio data for plosive sound removal; and
    상기 프로그램을 실행하는 프로세서;를 포함하며,A processor that executes the program; includes,
    상기 프로세서는, 상기 프로그램 실행에 따라,The processor, according to the execution of the program,
    파열음과 순결음을 수집하고, Collecting plosives and chaste sounds,
    스케일링값을 저장하여 데이터베이스를 구축하고, Build a database by storing the scaling values,
    마이크가 포함되거나 연결된 사용자 단말로부터 특정인의 발화로 구성된 오디오데이터를 수신하고,Receive audio data composed of a specific person's utterance from a user terminal that includes or is connected to a microphone,
    상기 데이터베이스에 기초하여, 상기 오디오데이터에서 파열음이 있는 구간의 오디오데이터를 추출하고,extracting audio data of a section having a plosive sound from the audio data based on the database;
    상기 데이터베이스에 기초하여, 상기 추출된 오디오데이터에서 파열음이 제거되도록 보정하고,Based on the database, correcting the plosive to be removed from the extracted audio data,
    상기 보정된 오디오데이터를 상기 사용자 단말 또는 청취자 단말로 송출하도록 구성되는, 파열음 제거를 위한 오디오데이터를 보정하는 장치.An apparatus for correcting audio data for plosive removal, configured to transmit the corrected audio data to the user terminal or the listener terminal.
  13. 제 1항에 따르는 파열음 제거를 위한 오디오데이터를 보정하는 방법에 관한 프로그램이 저장된 컴퓨터 판독가능 기록매체.A computer-readable recording medium storing a program related to a method for correcting audio data for plosive removal according to claim 1 .
PCT/KR2020/011488 2020-08-27 2020-08-27 Audio data correction method and device for removing plosives WO2022045395A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/011488 WO2022045395A1 (en) 2020-08-27 2020-08-27 Audio data correction method and device for removing plosives

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/011488 WO2022045395A1 (en) 2020-08-27 2020-08-27 Audio data correction method and device for removing plosives

Publications (1)

Publication Number Publication Date
WO2022045395A1 true WO2022045395A1 (en) 2022-03-03

Family

ID=80355429

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/011488 WO2022045395A1 (en) 2020-08-27 2020-08-27 Audio data correction method and device for removing plosives

Country Status (1)

Country Link
WO (1) WO2022045395A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2362390A1 (en) * 2010-02-12 2011-08-31 Nxp B.V. Noise suppression
US20120321095A1 (en) * 2003-02-21 2012-12-20 Qnx Software Systems Limited Signature Noise Removal
KR20130123713A (en) * 2012-05-03 2013-11-13 현대모비스 주식회사 Method removing pop-noise
KR101406742B1 (en) * 2006-10-20 2014-06-12 오렌지 Synthesis of lost blocks of a digital audio signal, with pitch period correction
US10410623B2 (en) * 2013-03-15 2019-09-10 Xmos Inc. Method and system for generating advanced feature discrimination vectors for use in speech recognition

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120321095A1 (en) * 2003-02-21 2012-12-20 Qnx Software Systems Limited Signature Noise Removal
KR101406742B1 (en) * 2006-10-20 2014-06-12 오렌지 Synthesis of lost blocks of a digital audio signal, with pitch period correction
EP2362390A1 (en) * 2010-02-12 2011-08-31 Nxp B.V. Noise suppression
KR20130123713A (en) * 2012-05-03 2013-11-13 현대모비스 주식회사 Method removing pop-noise
US10410623B2 (en) * 2013-03-15 2019-09-10 Xmos Inc. Method and system for generating advanced feature discrimination vectors for use in speech recognition

Similar Documents

Publication Publication Date Title
US6885735B2 (en) System and method for transmitting voice input from a remote location over a wireless data channel
CN104731767B (en) Exchange assisting system and exchange support method
WO2020246649A1 (en) Method by which edge computing device recognizes voice
US20090070102A1 (en) Speech recognition method, speech recognition system and server thereof
CN109599092B (en) Audio synthesis method and device
Hirson et al. Speech fundamental frequency over the telephone and face-to-face: Some implications for forensic phonetics1
WO2020015270A1 (en) Voice signal separation method and apparatus, computer device and storage medium
WO2020246641A1 (en) Speech synthesis method and speech synthesis device capable of setting plurality of speakers
US6823302B1 (en) Real-time quality analyzer for voice and audio signals
CN110232553A (en) Meeting support system and computer-readable recording medium
US10937429B1 (en) Voice-based interactive network monitor system
WO2022045395A1 (en) Audio data correction method and device for removing plosives
Voran Using articulation index band correlations to objectively estimate speech intelligibility consistent with the modified rhyme test
WO2021125592A1 (en) Artificial intelligence-based method and system for fitting active smart hearing aid
US9295423B2 (en) System and method for audio kymographic diagnostics
CN103581934A (en) Terminal voice quality evaluation method and terminal
CN111554323A (en) Voice processing method, device, equipment and storage medium
JP4500458B2 (en) Real-time quality analyzer for voice and audio signals
US20240071411A1 (en) Determining dialog quality metrics of a mixed audio signal
KR101952730B1 (en) Radio Communication Systems capable of Voice Recognition with Voting Technology for Communication Contents
WO2017116022A1 (en) Apparatus and method for extending bandwidth of earset having in-ear microphone
JPH02196373A (en) Voice transmission/reception device
JP7055327B2 (en) Conversation collection device, conversation collection system and conversation collection method
JP2000067063A (en) Interaction content using system
CN110827845A (en) Recording method, device, equipment and storage medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20951628

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20951628

Country of ref document: EP

Kind code of ref document: A1