WO2016072628A1 - 오디오 신호를 복원하는 방법 및 장치 - Google Patents

오디오 신호를 복원하는 방법 및 장치 Download PDF

Info

Publication number
WO2016072628A1
WO2016072628A1 PCT/KR2015/010665 KR2015010665W WO2016072628A1 WO 2016072628 A1 WO2016072628 A1 WO 2016072628A1 KR 2015010665 W KR2015010665 W KR 2015010665W WO 2016072628 A1 WO2016072628 A1 WO 2016072628A1
Authority
WO
WIPO (PCT)
Prior art keywords
frequency
audio signal
frequency band
value
lost
Prior art date
Application number
PCT/KR2015/010665
Other languages
English (en)
French (fr)
Inventor
전상배
김선민
이윤재
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to CN201580060240.3A priority Critical patent/CN107077849B/zh
Priority to US15/525,181 priority patent/US10460736B2/en
Priority to KR1020177010269A priority patent/KR102033603B1/ko
Publication of WO2016072628A1 publication Critical patent/WO2016072628A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band

Definitions

  • the present invention is directed to a method and apparatus for recovering an audio signal from which data in some frequency bands are lost.
  • Some frequency band audio signals may be lost or compressed for efficient compression or transmission.
  • An audio signal in which data in some frequency bands is lost may have a deteriorated sound quality or a change in tone compared to the audio signal before the loss.
  • the present invention relates to a method and apparatus for recovering an audio signal in which some frequency bands are lost. Specifically, the present invention relates to a method and apparatus for detecting and reconstructing an audio signal having some frequency bands lost based on frequency-specific energy values.
  • the sound quality of the audio signal may be improved by restoring a lost frequency region of the audio signal.
  • FIG. 1 is a flowchart illustrating a method of recovering an audio signal according to an exemplary embodiment.
  • FIG. 2 is a diagram illustrating an example of a cutoff frequency according to an embodiment.
  • FIG. 3 is a flowchart illustrating a method of recovering an audio signal according to an exemplary embodiment.
  • FIG. 4 is a flowchart illustrating a method of restoring a size of a lost frequency band according to an embodiment.
  • FIG. 5 is an exemplary diagram illustrating an example of restoring the size of an audio signal according to an embodiment.
  • FIG. 6 is a flowchart illustrating a method of adjusting a phase of a lost frequency band according to an embodiment.
  • FIG. 7 is a diagram illustrating an example of adjusting a phase value of an audio signal according to an embodiment.
  • FIG. 8 is a block diagram illustrating an internal structure of an apparatus for recovering an audio signal according to an exemplary embodiment.
  • a method for recovering an audio signal comprising: detecting a lost frequency band based on a frequency-specific energy value of the audio signal; Obtaining a cutoff frequency based on the lost frequency band; Restoring an audio signal of the lost frequency band based on the cutoff frequency.
  • the detecting may include converting the audio signal into a signal in a frequency domain; Detecting a frequency band in which the amount of energy reduction is greater than or equal to a first reference value in the audio signal in the frequency domain; Based on the detected frequency band, detecting a section having an energy value equal to or less than a second reference value as the lost frequency band.
  • the restoring may include setting a frequency band of a predetermined section in the audio signal as a frequency band to be used for restoring based on the cutoff frequency; Restoring an audio signal of the lost frequency band by using the audio signal of the set frequency band.
  • the restoring may include analyzing signal characteristics of the set frequency band; Estimating signal characteristics of the lost frequency band based on the analyzed signal characteristics; Adjusting the size of the lost frequency band based on the estimated signal characteristic.
  • the recovering may include obtaining a frequency value of an audio signal used to recover an audio signal of at least one frequency of the lost frequency bands; Acquiring a phase change amount with respect to the obtained frequency value in a predetermined time unit; Adjusting a phase for the at least one frequency value based on the amount of phase change.
  • Adjusting the phase may include obtaining a ratio between the obtained frequency value and the at least one frequency value; Estimating a phase change amount with respect to the at least one frequency value based on the determined ratio and the phase change amount; Adjusting a phase for the at least one frequency value based on the estimated phase change amount.
  • the cutoff frequency is determined in units of a predetermined time, and the audio signal of the lost frequency band is restored based on the cutoff frequency in units of the predetermined time.
  • the determining of the cutoff frequency may include determining, as the cutoff frequency, the largest value among the determined cutoff frequency values when there are a plurality of cutoff frequencies determined based on the detected frequency band.
  • an apparatus for recovering an audio signal comprising: a receiving unit for acquiring the audio signal; Based on the energy value for each frequency of the audio signal, a lost frequency band is detected, a cutoff frequency is obtained based on the lost frequency band, and the audio signal of the lost frequency band is obtained based on the cutoff frequency.
  • a method of extending the bandwidth of an audio signal comprising: extending an audio signal of a first bandwidth to an audio signal of a second bandwidth; Detecting a phase change amount of the audio signal of the first bandwidth; Correcting the phase of the audio signal extended to the second bandwidth by using the phase change amount.
  • any part of the specification is to “include” any component, this means that it may further include other components, except to exclude other components unless otherwise stated.
  • a part is “connected” with another part, this includes not only the case where it is “directly connected” but also the case where it is “electrically connected” with another element between them.
  • part refers to a hardware component, such as software, FPGA or ASIC, and “part” plays certain roles. However, “part” is not meant to be limited to software or hardware.
  • the “unit” may be configured to be in an addressable storage medium and may be configured to play one or more processors.
  • a “part” refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, procedures, Subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays and variables.
  • the functionality provided within the components and “parts” may be combined into a smaller number of components and “parts” or further separated into additional components and “parts”.
  • first and second may be used to describe various components, but the components are not limited by the terms. The terms are only used to distinguish one component from another.
  • FIG. 1 is a flowchart illustrating a method of recovering an audio signal according to an exemplary embodiment.
  • an apparatus for recovering an audio signal may detect a lost frequency band based on an energy value for each frequency.
  • an audio signal that may be restored may include various types of signals.
  • the audio signal may include a music signal, a voice signal, or an acoustic signal mixed with music and voice.
  • the audio signal may include various kinds of signals in which a lost frequency band may exist.
  • the audio signal may have a frequency band lost due to various causes.
  • high frequency band audio data may be lost due to compression.
  • MP-1 MPEG-1 Audio Layer 3
  • AAC advanced audio coding
  • the audio data of the high frequency band excluding the audible frequency band may be lost among the data of the compressed audio signal. . Therefore, in the case of the audio signal compressed by the lossy compression method, as the audio data of the high frequency band is lost, the tone of the audio signal may be changed or the sound quality may be degraded.
  • audio data of some frequency bands may be lost during transmission or storage of audio data.
  • audio data of some high frequency bands it may be determined that the importance is relatively low compared to the audio data of low frequency bands. Accordingly, the audio signal may be transmitted or stored while the audio signal of some high frequency bands is missing during data transmission or storage. Tones of audio signals in which audio data of some frequency bands are lost may be changed or sound quality may be degraded.
  • the audio signal including the lost frequency band may include the frequency band lost due to various reasons.
  • the device may detect the lost frequency band of the audio signal based on the frequency-specific energy value of the audio signal.
  • the apparatus may obtain an audio spectrum including energy values for each frequency of the audio signal by performing frequency conversion on the audio signal in the time domain. For example, the device may perform frequency conversion on an audio signal in a time domain belonging to one frame of the audio signal.
  • Frequency-specific energy values may be expressed in decibel (dB) values in the audio spectrum. Not limited to this, the energy value for each frequency can be expressed in various units.
  • the frequency-specific energy value included in the audio spectrum may mean power, norm value, intensity, amplitude, and the like.
  • the energy value may gradually decrease toward the high frequency band.
  • the energy value of the high frequency band is drastically decreased based on the predetermined frequency value, and the reduced energy value is 0 or 0 in the predetermined frequency band. It can have a value close to.
  • the compressed audio data may include only audio signals of some frequency bands. Since the audio signal of the high frequency region may be lost based on a predetermined frequency value, the energy value of the lost high frequency band may have a value of zero or close to zero. In addition, as the data of the high frequency band of relatively low importance is lost during data transmission, the energy value of the high frequency band may have a value of 0 or close to 0 based on a predetermined frequency value.
  • An audio signal of a high frequency band may be determined to have a lower importance in sound quality than an audio signal of a low frequency band. Accordingly, high frequency band audio data may be lost due to various factors such as compression and data transmission.
  • the audio signal may have a value of zero or close to zero due to a sharp decrease in energy value in some frequency bands.
  • the device may detect some frequency bands with a zero or near zero value in the lost frequency region due to a sharp decrease in energy values.
  • the device may detect a frequency band in which the amount of energy reduction between adjacent frequency bands in the audio signal in the frequency domain is equal to or greater than the first reference value.
  • the device may detect a section in which the energy value is less than or equal to the second reference value as the lost frequency band based on the detected frequency band.
  • the apparatus may detect the lost frequency region according to the compression information of the audio signal.
  • the compression information may include information about frequency domains that may be lost during compression.
  • the device can detect the lost frequency band based on the energy value for each frequency of the audio signal, the lost frequency domain of the audio signal is more accurate than the method of detecting the lost frequency domain only by considering the compression information of the audio signal. Can be detected.
  • the device may obtain a cut-off frequency based on the frequency band detected in step S110.
  • the cutoff frequency may be a reference frequency when audio data of a predetermined frequency band is lost.
  • the cutoff frequency may be the minimum frequency of the high frequency band to be lost upon compression.
  • the cutoff frequency may be obtained based on the frequency band detected in step S110.
  • the cutoff frequency may be determined as a frequency at which the energy reduction amount between adjacent frequency bands in the lost frequency band is greater than or equal to the first reference value and the reduced energy value is less than or equal to the second reference value.
  • the device may restore the audio signal of the lost frequency band, based on the cutoff frequency obtained in step S120.
  • the apparatus may restore the lost frequency band audio signal using the audio signal in the lost frequency band based on the cutoff frequency.
  • the device may use the magnitude of the lost frequency band to restore the size of the lost frequency band so that the magnitude of the lost frequency band is not drastically reduced.
  • the magnitude of the frequency band may be an energy value in the audio spectrum.
  • the device may reconstruct components of the lost frequency band using components of the frequency band not lost in the audio spectrum representing the energy of the audio signal.
  • the device may use the phase information of the lost frequency band to adjust the phase value to resolve the discontinuity of the phase of the lost frequency band.
  • the lost frequency band component contains discrete values in the restored audio spectrum or time domain audio signal, the sound quality may be degraded during reproduction.
  • a discontinuous value may exist as the audio signal of a predetermined frequency band is copied to the frequency band from which audio data is lost based on the cutoff frequency.
  • the device can modify the value so that the magnitude value and the phase information of the frequency band of the audio signal can have a continuous value.
  • FIG. 2 is a diagram illustrating an example of a cutoff frequency according to an embodiment.
  • the cutoff frequency may be obtained based on whether the energy of the audio spectrum is drastically reduced and whether the reduced energy value has zero or a value close to zero.
  • the device may obtain the value of the cutoff frequency point shown in FIG. 2 as the cutoff frequency.
  • the device may obtain the cutoff frequency according to the energy value of the frequency in the section in which the cutoff frequency is estimated to exist according to the compression information or the data transmission information.
  • the compression information may include information about frequency bands that may be lost during compression.
  • the data transmission information may include information about frequency bands that may be lost during data transmission.
  • the device may obtain the cutoff frequency based on various kinds of information including information about the lost frequency band.
  • FIG. 3 is a flowchart illustrating a method of recovering an audio signal according to an exemplary embodiment.
  • an apparatus for reconstructing an audio signal may obtain an energy value for each frequency of a current frame.
  • the device may obtain an audio spectrum indicating an energy value for each frequency with respect to the current frame.
  • the apparatus is not limited to the above-described frame unit, but may acquire energy values of each frequency in various time units. Hereinafter, for convenience of description, a description will be made based on a point of obtaining energy for each frequency in units of frames.
  • the device may obtain an audio spectrum indicating an energy value for each frequency by performing frequency conversion on the audio signal of the time domain included in the current frame.
  • the device may determine whether a lost frequency region exists.
  • the apparatus may determine whether there is a frequency region in which the energy value is less than or equal to the first reference value and the energy value is less than or equal to the second reference value in the high frequency band of the predetermined section based on the frequency point at which the energy reduction amount is greater than or equal to the first reference value.
  • the apparatus may determine whether there is a frequency region in which the representative value of the energy value is less than or equal to the second reference value in the high frequency band of the predetermined section based on the frequency point at which the energy reduction amount is greater than or equal to the first reference value.
  • the representative value may include a value representing a characteristic of energy values included in a predetermined section, such as an average value and a median value. For example, if there is a region where the energy is drastically reduced, the device may detect a predetermined frequency section in which the representative value of the energy values has zero or a value close to zero as the lost frequency region.
  • step S320 determines whether the lost frequency region does not exist. If it is determined in step S320 that the lost frequency region does not exist, the device does not need to perform restoration on the audio signal of the current frame and may move to the next frame in step S330. The device may perform the restoration process of steps S310 to S360 with respect to the audio signal of the next frame.
  • the device may acquire a cutoff frequency based on the lost frequency region detected in operation S320. At least one cutoff frequency may be detected according to the detected lost frequency region.
  • the device may obtain the largest value of the plurality of cutoff frequencies as the cutoff frequency.
  • audio data of a high frequency band is lost by compression
  • audio data belonging to a high frequency band may be lost based on one frequency value.
  • the device can determine only one cutoff frequency for the audio signal that includes the frequency region lost by compression.
  • the apparatus may determine a plurality of cutoff frequencies for an audio signal including a frequency band lost by compression.
  • the device may restore the magnitude of the lost frequency band based on the cutoff frequency obtained in operation S340.
  • the device may restore audio data of the lost frequency band by using the audio data of the frequency band not lost based on the cutoff frequency.
  • the device may restore the lost frequency band audio signal by copying the audio data of the lost frequency band into the lost frequency band. A method of restoring the size of the lost frequency band will be described in more detail with reference to FIGS. 4 to 5 below.
  • step S360 the device may adjust the phase value of the audio signal of the lost frequency band.
  • step S350 since the audio signal of the frequency domain is restored for each frame, when restoration by copying is performed, a discontinuous phase value may be generated for each frame in the time domain.
  • the device may adjust the phase value of the audio signal of the lost frequency band so that discontinuous values do not occur using the phase information of the audio signal of the non-lost frequency band used in the restoration in step S350.
  • the device may correct the phase value using the phase information and the frequency value of the audio signal of the unlost frequency band used when copied in step S350.
  • the apparatus may use phase information and frequency values for an audio signal of a frequency included in an unlost frequency band corresponding to a frequency value included in a lost frequency band.
  • the device may adjust the phase value such that the phase value corresponding to the lost frequency band has a continuous value.
  • the device may determine whether the next frame exists. If there is a next frame, the device may move to the next frame in step S330. The device may perform the restoration process of steps S310 to S360 with respect to the audio signal of the next frame.
  • FIG. 4 is a flowchart illustrating a method of restoring a size of a lost frequency band according to an embodiment.
  • the apparatus for restoring an audio signal may set a frequency band to be used when restoring a frequency band of a predetermined section based on the cutoff frequency in the current frame.
  • the cutoff frequency may be obtained in step S120 of FIG. 1 or step 340 of FIG. 3.
  • the device may set the low frequency band of the predetermined section based on the cutoff frequency as the frequency band to be used for restoration as the frequency band which is not lost.
  • the device may restore the audio signal of the lost frequency band by using the audio signal of the frequency band not lost set in operation S410.
  • the lost frequency band may be included in the frequency band detected in step S110 of FIG. 1 or step S320 of FIG. 3.
  • the device can restore audio data of the lost frequency band by copying the size of the set frequency band to the lost frequency band.
  • the apparatus may use a shift technique of moving and copying an audio signal of a set frequency band as it is, or a folding technique of rotating and copying an audio signal of a set frequency band by 180 degrees.
  • the device can copy the audio signal of the set frequency band to the lost frequency band using a shift technique or a folding technique.
  • the device may repeatedly copy every predetermined period of the lost frequency band.
  • the apparatus may perform copying on a section of the lost frequency band by the size of the set frequency band, and the remaining section may be estimated based on the audio signal of the copied section.
  • the device may analyze signal characteristics of the section set in operation S410. Since the discontinuity may be generated for each section in which the copying is performed, the apparatus may analyze signal characteristics of the section set in step S410 to eliminate the discontinuity of the restored frequency band.
  • the device may analyze the envelope characteristic of the low frequency band set in step S410.
  • the envelope characteristic of the frequency band may mean a characteristic on the spectrum such as an envelope characteristic of the frequency spectrum, for example, the shape and slope of the envelope.
  • the envelope in the frequency spectrum may consist of a series of curves that are tangent to a series of lines or curves that appear repeatedly, and may change slowly as the frequency changes. Therefore, the device can eliminate discontinuity in the section in which the radiation is performed by using the envelope characteristic of the low frequency band.
  • the device may estimate signal characteristics of the high frequency band based on the signal characteristics of the low frequency band analyzed in operation S430. For example, the device may estimate the envelope characteristics of the high frequency band based on the envelope characteristics of the low frequency band analyzed in the frequency spectrum.
  • the device may correct the spectrum of the high frequency band according to the signal characteristic estimated in operation S440.
  • the above-described spectrum may be an energy spectrum indicating an energy value for each frequency, but is not limited thereto and may include audio data of various kinds of frequency domains.
  • the device may determine a weight value to be applied to the spectrum of each frequency value according to the envelope characteristic of the high frequency band estimated based on the envelope characteristic of the low frequency band.
  • the apparatus may correct the spectrum of the high frequency band by applying the determined weight value to the spectrum of the high frequency band.
  • FIG. 5 is an exemplary diagram illustrating an example of reconstructing a spectrum of an audio signal according to an embodiment.
  • the spectrum of the lost frequency band may be restored by a folding technique of rotating and copying the spectrum of the frequency band by 180 degrees based on the cutoff frequency.
  • the spectrum of the lost frequency band may be restored by a shift technique of shifting and copying the size of the frequency band as it is based on the cutoff frequency.
  • the apparatus may resolve the discontinuity generated at the cutoff frequency point by performing the steps S430 to S450 of FIG. 4 described above with respect to the frequency band reconstructed according to the folding or shifting technique such as 510 and 520.
  • the device may estimate the envelope characteristic of the high frequency band according to the envelope characteristic of the low frequency band based on the cutoff frequency, and correct the spectrum of the high frequency band according to the estimated envelope characteristic.
  • the device can eliminate the discontinuity generated at the cutoff frequency point by correcting the spectrum of the high frequency band according to the estimated envelope characteristic.
  • the device may estimate the envelope characteristics of the high frequency band according to the envelope characteristics of the low frequency band. For example, the device may estimate the slope value of the envelope of the high frequency band according to the slope value of the envelope of the low frequency band. The device can also correct the spectrum of the high frequency band such that the envelope at the cutoff frequency point has a continuous value.
  • FIG. 6 is a flowchart illustrating a method of adjusting a phase of a lost frequency band according to an embodiment.
  • an apparatus for recovering an audio signal may acquire a frequency value used to recover a magnitude value of each frequency included in a lost frequency band.
  • the device may obtain the frequency value used to recover the magnitude of the lost frequency band in step S350 of FIG. 4 or FIG. 3.
  • the phase value of the copied frequency band signal is the same as the phase value of the frequency band signal used for copying.
  • the amount of phase change between the frame of the low frequency component and the copied high frequency component used in the radiation may be different.
  • the device can adjust the phase value of frequencies belonging to the reconstructed frequency band by using the frequency value used at the time of copying to eliminate the discontinuity.
  • the adjustment of the phase value may be performed for each frequency belonging to the restored frequency band.
  • the apparatus may acquire a phase change amount of a predetermined time unit with respect to the frequency value obtained in operation S610. For example, the device may obtain the amount of phase change in units of frames for 5 kHz. If the amount of phase change between the current frame and the previous frame of 5 kHz is ⁇ , the device can obtain ⁇ as the amount of phase change of 5 kHz.
  • the device may acquire a ratio between the frequency value obtained in operation S610 and the restored frequency value. Since the period varies depending on the frequency value, the phase value may also vary. Thus, the device may adjust the phase value of the restored frequency band in consideration of the frequency value. For example, the device can obtain 2 as the ratio of frequency values between 5 kHz and 10 kHz.
  • the apparatus may estimate the phase variation of the restored frequency value based on the phase variation and the ratio obtained in operations S620 and S630.
  • the device may estimate the value of 2 ⁇ per frame, which is the product of the phase change amount and the ratio, as the phase change amount of the restored frequency value 10kHz.
  • step S650 the device may adjust the phase of the restored frequency value based on the phase change amount estimated in step S640.
  • the phase change amount per frame of the restored frequency value 10 kHz is the same pi value as the phase change amount per frame of 5 kHz, but as the phase is adjusted, the phase change amount per frame of the restored frequency value 10 kHz may be changed to 2 ⁇ . have.
  • the apparatus can prevent the sound quality degradation due to the discontinuity of the phase of the restored frequency by adjusting the phase of the restored frequency according to the ratio of the restored frequency value and the frequency value used during the restoration.
  • the restored frequency value is 10 kHz and the frequency value used to recover is 5 kHz as an example.
  • FIG. 710 of FIG. 7 is a graph showing a phase with respect to a frequency value used to recover, and a phase change amount in one frame with respect to a 5 kHz frequency is ⁇ .
  • phase 720 is a graph showing the phase of the restored frequency value.
  • the phase change amount in one frame may be represented by ⁇ equal to 5 kHz. Therefore, in the case of a phase with respect to the restored frequency value, discontinuity may appear in units of frames.
  • the apparatus estimates the value of 2 ⁇ per frame, which is the product of the phase change amount and the ratio, as the phase change amount of the restored frequency value 10kHz, and adjusts the phase of the restored frequency value according to the estimated phase change amount. Therefore, the amount of phase change per frame of the restored frequency value 10 kHz may be changed to 2 ⁇ .
  • FIG. 8 is a block diagram illustrating an internal structure of an apparatus for recovering an audio signal according to an exemplary embodiment.
  • the apparatus 800 may be a broadcasting or music dedicated device including a voice communication terminal including a telephone, a mobile phone, a TV, an MP3 player, or the like, or a convergence of the voice communication terminal and a broadcasting or music dedicated device.
  • a terminal device may be included, but is not limited thereto.
  • the device 800 can be used as a client, a server, or a transducer disposed between the client and the server.
  • the apparatus 800 may include a receiver 810, a controller 820, and a speaker 830.
  • the receiver 810 may acquire an audio signal to be restored.
  • the audio signal may be a pulse code modulation (PCM) signal in the time domain.
  • PCM pulse code modulation
  • the encoded audio signal can be decoded and converted into a PCM signal.
  • the receiver 810 may include wireless internet, wireless intranet, wireless telephone network, wireless LAN (LAN), Wi-Fi, Wi-Fi Direct (WFD), 3G (Generation), 4G (4 Generation), and Bluetooth.
  • Wireless networks such as Bluetooth, Infrared Data Association (IrDA), Radio Frequency Identification (RFID), Ultra WideBand (UWB), Zigbee, Near Field Communication (NFC), wired telephone networks, wired Internet It may be configured to transmit and receive data with an external device through a wired network.
  • the controller 820 may restore the audio signal received by the receiver 810.
  • the controller 820 may convert the audio signal of the time domain into a signal of the frequency domain, and detect the lost frequency band based on the energy value of the frequency.
  • the controller 820 may determine the cutoff frequency based on the lost frequency band, and restore the audio signal of the lost frequency band based on the cutoff frequency.
  • the controller 820 may restore the audio signal of the lost frequency band by using the audio signal of the frequency band not lost based on the cutoff frequency.
  • the controller 820 may restore the size of the lost frequency band by using a copying technique such as shift or folding.
  • the controller 820 may adjust the phase value of the reconstructed frequency band based on the audio signal of the frequency band used to reconstruct the discontinuity of the phase.
  • the speaker 830 may output the audio signal restored by the controller 820 to the outside.
  • the device 800 is a mobile phone, for example, although not shown, further includes a user input unit, such as a keypad, a display unit for displaying information processed in the user interface or the mobile phone, a processor for controlling the overall functions of the mobile phone can do.
  • the mobile phone may further include a camera unit having an imaging function and at least one component that performs a function required by the mobile phone.
  • the device 800 is a TV
  • the device 800 may further include a user input unit such as a keypad, a display unit for displaying the received broadcast information, a processor for controlling the overall functions of the TV.
  • the TV may further include at least one or more components that perform a function required by the TV.
  • the sound quality of the audio signal may be improved by restoring a lost frequency region of the audio signal.
  • the method according to some embodiments may be embodied in the form of program instructions that may be executed by various computer means and recorded on a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

오디오 신호를 복원하는 방법에 있어서, 오디오 신호의 주파수별 에너지 값에 기초하여, 손실된 주파수 대역을 검출하고, 손실된 주파수 대역에 기초하여, 컷오프 주파수를 구하고, 컷오프 주파수에 기초하여, 손실된 주파수 대역의 오디오 신호를 복원하는 방법이 개시된다.

Description

오디오 신호를 복원하는 방법 및 장치
본 발명은 일부 주파수 대역의 데이터가 손실된 오디오 신호를 복원하는 방법 및 장치에 대한 것이다.
오디오 신호가 압축되거나 전송될 때, 효율적인 압축 또는 전송을 위하여 일부 주파수 대역의 오디오 신호가 손실된 채 압축되거나 전송될 수 있다. 일부 주파수 대역의 데이터가 손실된 오디오 신호는 손실되기 전의 오디오 신호에 비해 음질이 저하되거나 음색이 변화될 수 있다.
따라서, 손실된 주파수 대역을 포함하는 오디오 신호가 고음질로 원음에 가깝도록 재생되려면, 손실된 주파수 대역의 오디오 신호를 효과적으로 복원하는 것이 요구된다.
본 발명은 일부 주파수 대역이 손실된 오디오 신호를 복원하기 위한 방법 및 장치에 관한 것이다. 자세하게는, 본 발명은 일부 주파수 대역이 손실된 오디오 신호를 주파수별 에너지 값에 기초하여 검출하고 복원하는 방법 및 장치에 관한 것이다.
일 실시 예에 의하면, 오디오 신호의 손실된 주파수 영역을 복원함으로써 오디오 신호의 음질을 향상시킬 수 있다.
도 1은 일 실시 예에 의한 오디오 신호를 복원하는 방법을 나타낸 순서도이다.
도 2는 일 실시 예에 의한 컷오프 주파수의 일 예를 나타낸 예시 도면이다.
도 3은 일 실시 예에 의한 오디오 신호를 복원하는 방법을 나타낸 순서도이다.
도 4는 일 실시 예에 의한 손실된 주파수 대역의 크기를 복원하는 방법을 나타낸 순서도이다.
도 5는 일 실시 예에 의한 오디오 신호의 크기를 복원하는 일 예를 나타낸 예시 도면이다.
도 6은 일 실시 예에 의한 손실된 주파수 대역의 위상을 조정하는 방법을 나타낸 순서도이다.
도 7은 일 실시 예에 의한 오디오 신호의 위상 값을 조정하는 일 예를 나타낸 예시 도면이다.
도 8은 일 실시 예에 따라 오디오 신호를 복원하는 장치의 내부 구조를 나타낸 블록도이다.
일 실시 예에 있어서, 오디오 신호를 복원하는 방법에 있어서, 상기 오디오 신호의 주파수별 에너지 값에 기초하여, 손실된 주파수 대역을 검출하는 단계; 상기 손실된 주파수 대역에 기초하여, 컷오프 주파수를 구하는 단계; 상기 컷오프 주파수에 기초하여, 상기 손실된 주파수 대역의 오디오 신호를 복원하는 단계를 포함한다.
상기 검출하는 단계는 상기 오디오 신호를 주파수 도메인의 신호로 변환하는 단계; 상기 주파수 도메인의 오디오 신호에서, 에너지 감소량이 제1 기준값 이상인 주파수 대역을 검출하는 단계; 상기 검출된 주파수 대역에 기초하여, 에너지 값이 제2 기준값 이하인 구간을 상기 손실된 주파수 대역으로 검출하는 단계를 포함한다.
상기 복원하는 단계는 상기 컷오프 주파수를 기준으로, 상기 오디오 신호에서 소정 구간의 주파수 대역을 복원에 이용될 주파수 대역으로 설정하는 단계; 상기 설정된 주파수 대역의 오디오 신호를 이용하여, 상기 손실된 주파수 대역의 오디오 신호를 복원하는 단계를 포함한다.
상기 복원하는 단계는 상기 설정된 주파수 대역의 신호 특성을 분석하는 단계; 상기 분석된 신호 특성에 기초하여, 상기 손실된 주파수 대역의 신호 특성을 추정하는 단계; 상기 추정된 신호 특성에 기초하여, 상기 손실된 주파수 대역의 크기를 조정하는 단계를 포함한다.
상기 복원하는 단계는 상기 손실된 주파수 대역 중 적어도 하나의 주파수의 오디오 신호를 복원하는데 이용된 오디오 신호의 주파수 값을 획득하는 단계; 상기 획득된 주파수 값에 대한 위상 변화량을 소정 시간 단위로 획득하는 단계; 상기 위상 변화량에 기초하여, 상기 적어도 하나의 주파수 값에 대한 위상을 조정하는 단계를 포함한다.
상기 위상을 조정하는 단계는 상기 획득된 주파수 값과 상기 적어도 하나의 주파수 값 간 비율을 획득하는 단계; 상기 결정된 비율 및 상기 위상 변화량에 기초하여, 상기 적어도 하나의 주파수 값에 대한 위상 변화량을 추정하는 단계; 상기 추정된 위상 변화량에 기초하여, 상기 적어도 하나의 주파수 값에 대한 위상을 조정하는 단계를 포함한다.
상기 컷오프 주파수는 소정 시간 단위로 결정되고, 상기 손실된 주파수 대역의 오디오 신호는 상기 소정 시간 단위로 컷오프 주파수에 기초하여 복원된다.
상기 컷오프 주파수를 결정하는 단계는 상기 검출된 주파수 대역에 기초하여 결정된 컷오프 주파수가 복수개 존재하는 경우, 상기 결정된 컷오프 주파수 값 중 가장 큰 값을 상기 컷오프 주파수로 결정하는 단계를 포함한다.
일 실시 예에 있어서, 오디오 신호를 복원하는 장치에 있어서, 상기 오디오 신호를 획득하는 수신부; 상기 오디오 신호의 주파수별 에너지 값에 기초하여, 손실된 주파수 대역을 검출하고, 상기 손실된 주파수 대역에 기초하여, 컷오프 주파수를 구하고, 상기 컷오프 주파수에 기초하여, 상기 손실된 주파수 대역의 오디오 신호를 복원하는 제어부; 상기 복원된 오디오 신호를 출력하는 스피커를 포함한다.
일 실시 예에 의한 오디오 신호의 대역폭을 확장하는 방법에 있어서, 제1 대역폭의 오디오 신호를 제2 대역폭의 오디오 신호로 확장하는 단계; 상기 제1 대역폭의 오디오 신호의 위상 변화량을 검출하는 단계; 상기 위상 변화량을 이용하여 제2 대역폭으로 확장된 오디오 신호의 위상을 보정하는 단계를 포함한다.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들이 용어들에 의해 한정되는 것은 아니다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
도 1은 일 실시 예에 의한 오디오 신호를 복원하는 방법을 나타낸 순서도이다.
도 1의 단계 S110을 참조하면, 오디오 신호를 복원하는 장치는 주파수별 에너지 값에 기초하여, 손실된 주파수 대역을 검출할 수 있다.
일 실시 예에 따라 복원될 수 있는 오디오 신호는 다양한 종류의 신호를 포함할 수 있다. 예를 들면, 오디오 신호는 음악 신호, 음성 신호, 또는 음악 및 음성이 섞인 음향 신호 등을 포함할 수 있다. 상술된 예에 한하지 않고, 오디오 신호는 손실된 주파수 대역이 존재할 수 있는 다양한 종류의 신호를 포함할 수 있다.
오디오 신호는 다양한 원인에 의하여 손실된 주파수 대역이 존재할 수 있다. 예를 들면, 압축에 의하여 고주파수 대역의 오디오 데이터가 손실될 수 있다. MP3(MPEG-1 Audio Layer 3), AAC(advanced audio coding) 등 손실 압축 방법에 의해 오디오 신호가 압축되면, 압축된 오디오 신호의 데이터 중에서 가청 주파수 대역을 제외한 고주파수 대역의 오디오 데이터가 손실될 수 있다. 따라서, 손실 압축 방법에 의하여 압축된 오디오 신호의 경우, 고주파수 대역의 오디오 데이터가 손실됨에 따라 오디오 신호의 음색이 변화되거나 음질이 저하될 수 있다.
또 다른 예로, 오디오 데이터의 전송 또는 저장 중에 일부 주파수 대역의 오디오 데이터가 손실될 수 있다. 일부 고주파수 대역의 오디오 데이터의 경우, 저주파수 대역의 오디오 데이터에 비해 상대적으로 중요도가 낮은 것으로 판단될 수 있다. 따라서 데이터 전송 또는 저장 시 일부 고주파수 대역의 오디오 신호가 누락된 채 오디오 신호가 전송 또는 저장될 수 있다. 일부 주파수 대역의 오디오 데이터가 손실된 오디오 신호의 음색은 변화되거나 음질이 저하될 수 있다. 상술된 예에 한하지 않고, 일 실시 예에 의한 손실된 주파수 대역을 포함하는 오디오 신호는 다양한 원인에 의하여 손실된 주파수 대역을 포함할 수 있다.
장치는 오디오 신호의 손실된 주파수 대역을 오디오 신호의 주파수별 에너지 값에 기초하여 검출할 수 있다. 장치는 시간 도메인의 오디오 신호에 대하여 주파수 변환을 수행함으로써, 오디오 신호의 주파수별 에너지 값을 포함하는 오디오 스펙트럼을 획득할 수 있다. 예를 들면, 장치는 오디오 신호의 하나의 프레임에 속하는 시간 도메인의 오디오 신호에 대하여 주파수 변환을 수행할 수 있다.
주파수별 에너지 값은 오디오 스펙트럼에서 데시벨(dB; decibel) 값으로 표현될 수 있다. 이에 한하지 않고, 주파수별 에너지 값은 다양한 단위로 표현될 수 있다. 오디오 스펙트럼에 포함된 주파수별 에너지값은 파워, 놈(norm) 값, 강도, 진폭 등을 의미할 수 있다.
손실이 발생하지 않은 주파수 대역에서는, 고주파수 대역으로 갈수록 에너지 값이 서서히 감소할 수 있다. 반면, 압축 등 다양한 요인에 의해 일부 주파수 영역이 손실된 오디오 신호의 경우, 소정의 주파수 값을 기준으로 고주파수 대역의 에너지 값이 급격하게 감소하면서, 감소된 에너지 값이 소정의 주파수 대역에서 0 또는 0에 가까운 값을 가질 수 있다. 압축된 오디오 데이터는 일부 주파수 대역대의 오디오 신호만 포함할 수 있다. 소정 주파수 값을 기준으로 고주파수 영역의 오디오 신호가 손실될 수 있으므로, 손실된 고주파수 대역의 에너지 값은 0 또는 0에 가까운 값을 가질 수 있다. 또한, 데이터 전송 시, 상대적으로 중요도가 낮은 고주파수 대역의 오디오 데이터가 손실됨에 따라, 소정 주파수 값을 기준으로 고주파수 대역의 에너지 값이 0 또는 0에 가까운 값을 가질 수 있다.
고주파수 대역의 오디오 신호는 상대적으로 저주파수 대역의 오디오 신호에 비해 음질에 있어 중요도가 낮은 것으로 판단될 수 있다. 따라서, 압축이나 데이터 전송 등 다양한 요인에 의해 고주파수 대역의 오디오 데이터가 손실될 수 있다.
고주파수 대역에 한하지 않고, 오디오 신호는 일부 주파수 대역대에서 에너지 값이 급격히 감소하여 0 또는 0에 가까운 값을 가질 수 있다. 장치는 에너지 값이 급격히 감소하여 0 또는 0에 가까운 값을 가지는 일부 주파수 대역대를 손실된 주파수 영역으로 검출할 수 있다.
예를 들면, 장치는 주파수 도메인의 오디오 신호에서 인접한 주파수 밴드 간의 에너지 감소량이 제1 기준값 이상인 주파수 대역을 검출할 수 있다. 그리고, 장치는 검출된 주파수 대역에 기초하여 에너지 값이 제2 기준값 이하인 구간을 손실된 주파수 대역으로 검출할 수 있다.
더하여, 장치는 오디오 신호의 압축 정보에 따라서 손실된 주파수 영역을 검출할 수도 있다. 압축 정보는 압축 시 손실될 수 있는 주파수 영역에 관한 정보를 포함할 수 있다. 그러나, 장치는 오디오 신호의 주파수별 에너지 값에 기초하여 손실된 주파수 대역을 검출할 수 있으므로, 오디오 신호의 압축 정보만 고려하여 손실된 주파수 영역을 검출하는 방법보다 더 정확하게 오디오 신호의 손실된 주파수 영역을 검출할 수 있다.
단계 S120에서, 장치는 단계 S110에서 검출된 주파수 대역에 기초하여, 컷오프(cut-off) 주파수를 구할 수 있다. 컷오프 주파수는 소정의 주파수 대역의 오디오 데이터가 손실될 때 기준이 된 주파수일 수 있다. 예를 들어, 컷오프 주파수는 압축 시 손실될 고주파수 대역의 최소 주파수일 수 있다.
컷오프 주파수는 단계 S110에서 검출된 주파수 대역을 기준으로 획득될 수 있다. 예를 들면, 컷오프 주파수는 손실된 주파수 대역에서 인접한 주파수 밴드간의 에너지 감소량이 제1 기준값 이상이고, 감소된 에너지 값이 제2 기준값 이하인 주파수로 결정될 수 있다.
단계 S130에서, 장치는 단계 S120에서 구한 컷오프 주파수에 기초하여, 손실된 주파수 대역의 오디오 신호를 복원할 수 있다. 장치는 컷오프 주파수에 기초하여 손실되지 않은 주파수 대역의 오디오 신호를 이용하여 손실된 주파수 대역의 오디오 신호를 복원할 수 있다.
장치는 손실되지 않은 주파수 대역의 크기(magnitude)를 이용하여 손실된 주파수 대역의 크기가 급격히 감소되지 않도록 손실된 주파수 대역의 크기를 복원할 수 있다. 주파수 대역의 크기는 오디오 스펙트럼에서 에너지 값일 수 있다. 예를 들면, 장치는 오디오 신호의 에너지를 나타내는 오디오 스펙트럼에서, 손실되지 않은 주파수 대역의 성분을 이용하여 손실된 주파수 대역의 성분을 복원할 수 있다. 또한, 장치는 손실되지 않은 주파수 대역의 위상 정보를 이용하여, 손실된 주파수 대역의 위상의 불연속성을 해소하기 위해 위상 값을 조정할 수 있다.
손실된 주파수 대역 성분이 복원된 오디오 스펙트럼 또는 시간 도메인의 오디오 신호에 불연속적인 값이 포함되어 있는 경우, 재생 시 음질이 저하될 수 있다. 오디오 신호가 복원될 때, 컷오프 주파수를 기준으로 소정 주파수 대역의 오디오 신호가, 오디오 데이터가 손실된 주파수 대역으로 복사됨에 따라 불연속적인 값이 존재할 수 있다. 따라서, 장치는 오디오 신호의 주파수 대역의 크기 값과 위상 정보가 연속적인 값을 가질 수 있도록 그 값을 수정할 수 있다.
일 실시 예에 있어서 오디오 신호를 복원하는 방법에 관하여는 이하 도 3 내지 도 7을 참조하여 더 자세히 설명하기로 한다.
도 2는 일 실시 예에 의한 컷오프 주파수의 일 예를 나타낸 예시 도면이다.
컷오프 주파수는 오디오 스펙트럼의 에너지가 급격히 감소하는지 여부와 감소된 에너지 값이 0 또는 0에 가까운 값을 가지는지 여부에 기초하여 획득될 수 있다.
도 2를 참조하면, 컷오프 주파수 지점에서 인접한 주파수 밴드 간 에너지 감소량이 급증하고, 컷오프 주파수를 기준으로 고주파수 대역의 주파수 에너지 값은 거의 0에 가까운 값을 가진다. 따라서, 장치는 도 2에 도시된 컷오프 주파수 지점의 값을 컷오프 주파수로 획득할 수 있다.
장치는 압축 정보 또는 데이터 전송 정보에 따라 컷오프 주파수가 존재할 것으로 추정되는 구간에서 주파수의 에너지 값에 따라 컷오프 주파수를 획득할 수 있다. 압축 정보는 압축 시 손실될 수 있는 주파수 대역에 관한 정보를 포함할 수 있다. 데이터 전송 정보는 데이터 전송 시 손실될 수 있는 주파수 대역에 관한 정보를 포함할 수 있다. 상술된 예에 한하지 않고, 장치는 손실된 주파수 대역에 관한 정보를 포함하는 다양한 종류의 정보에 기초하여 컷오프 주파수를 획득할 수 있다.
도 3은 일 실시 예에 의한 오디오 신호를 복원하는 방법을 나타낸 순서도이다.
도 3을 참조하면, 단계 S310에서, 오디오 신호를 복원하는 장치는 현재 프레임의 주파수 별 에너지 값을 획득할 수 있다. 장치는 현재 프레임에 대하여 주파수 별 에너지 값을 나타내는 오디오 스펙트럼을 획득할 수 있다. 장치는 상술된 프레임 단위에 한하지 않고, 다양한 시간 단위로 각 주파수의 에너지 값을 획득할 수 있다. 이하에서는, 설명 편의상 프레임 단위로 주파수별 에너지를 획득하는 점을 기준으로 설명하기로 한다. 장치는 현재 프레임에 포함된 시간 도메인의 오디오 신호에 대하여 주파수 변환을 수행함으로써 주파수별 에너지 값을 나타내는 오디오 스펙트럼을 획득할 수 있다.
단계 S320에서, 장치는 손실된 주파수 영역이 존재하는지 판단할 수 있다. 장치는 에너지 감소량이 제1 기준값 이상이고, 에너지 감소량이 제1 기준값 이상인 주파수 지점을 기준으로 소정 구간의 고주파수 대역에서 에너지 값이 제2 기준값 이하인 주파수 영역이 존재하는지 여부를 판단할 수 있다. 또는 장치는, 에너지 감소량이 제1 기준값 이상인 주파수 지점을 기준으로 소정 구간의 고주파수 대역에서 에너지 값의 대표값이 제2 기준값 이하인 주파수 영역이 존재하는지 여부를 판단할 수 있다. 대표값은 평균값, 중간값 등의 소정 구간에 포함된 에너지 값들의 특징을 나타내는 값을 포함할 수 있다. 예를 들면, 에너지가 급격하게 감소하는 영역이 존재하는 경우, 장치는 에너지 값들의 대표값이 0 또는 0에 가까운 값을 가지는 소정 주파수 구간을 손실된 주파수 영역으로 검출할 수 있다.
한편, 단계 S320에서, 장치는 손실된 주파수 영역이 존재하지 않는다고 판단된 경우, 현재 프레임의 오디오 신호에 대하여 복원을 수행할 필요가 없으므로 단계 S330에서 다음 프레임으로 이동할 수 있다. 장치는 다음 프레임의 오디오 신호에 대하여 단계 S310 내지 단계 S360의 복원 과정을 수행할 수 있다.
단계 S340에서, 장치는 단계 S320에서 검출된 손실된 주파수 영역에 기초하여 컷오프 주파수를 획득할 수 있다. 컷오프 주파수는 검출된 손실된 주파수 영역에 따라 적어도 하나 검출될 수 있다.
압축에 의해 손실된 주파수 영역을 포함하는 오디오 신호의 경우, 장치는 복수의 컷오프 주파수 중 가장 큰 값을 컷오프 주파수로 획득할 수 있다. 압축에 의해 고주파수 대역의 오디오 데이터가 손실되는 경우, 하나의 주파수 값을 기준으로 고주파수 대역에 속한 오디오 데이터가 손실될 수 있다. 따라서, 장치는 압축에 의해 손실된 주파수 영역을 포함하는 오디오 신호에 대한 컷오프 주파수를 하나만 결정할 수 있다. 이에 한하지 않고, 장치는 압축에 의해 손실된 주파수 대역을 포함하는 오디오 신호에 대하여 복수의 컷오프 주파수를 결정할 수도 있다.
단계 S350에서, 장치는 단계 S340에서 획득된 컷오프 주파수에 기초하여 손실된 주파수 대역의 크기(magnitude)를 복원할 수 있다. 장치는 컷오프 주파수를 기준으로 손실되지 않은 주파수 대역의 오디오 데이터를 이용하여 손실된 주파수 대역의 오디오 데이터를 복원할 수 있다. 예를 들면, 장치는 손실되지 않은 주파수 대역의 오디오 데이터를 손실된 주파수 대역으로 복사함으로써 손실된 주파수 대역의 오디오 신호를 복원할 수 있다. 손실된 주파수 대역의 크기를 복원하는 방법에 관하여 이하 도 4 내지 도 5를 참조하여 더 자세히 설명하기로 한다.
단계 S360에서, 장치는 손실된 주파수 대역의 오디오 신호의 위상 값을 조정할 수 있다. 단계 S350에서 프레임 별로 주파수 도메인의 오디오 신호가 복원되므로, 복사에 의한 복원이 수행되는 경우, 시간 도메인에서 프레임마다 불연속적인 위상 값이 발생될 수 있다. 따라서, 장치는 단계 S350에서 복원 시 이용된 손실되지 않은 주파수 대역의 오디오 신호의 위상 정보를 이용하여, 불연속적인 값이 발생되지 않도록 손실된 주파수 대역의 오디오 신호의 위상 값을 조정할 수 있다.
예를 들면, 장치는 단계 S350에서 복사될 때 이용된 손실되지 않은 주파수 대역의 오디오 신호의 위상 정보 및 주파수 값을 이용하여 위상 값을 보정할 수 있다. 장치는 손실된 주파수 대역에 포함된 주파수 값과 대응되는 손실되지 않은 주파수 대역에 포함된 주파수의 오디오 신호에 대한 위상 정보 및 주파수 값을 이용할 수 있다. 장치는 손실된 주파수 대역과 대응되는 위상 값이 연속적인 값을 가질 수 있도록 위상 값을 조정할 수 있다.
오디오 신호의 위상이 조정된 이후, 단계 S370에서, 장치는 다음 프레임이 존재하는지 여부를 판단할 수 있다. 다음 프레임이 존재하는 경우, 단계 S330에서 장치는 다음 프레임으로 이동할 수 있다. 장치는 다음 프레임의 오디오 신호에 대하여 단계 S310 내지 단계 S360의 복원 과정을 수행할 수 있다.
손실된 주파수 대역의 위상 값을 조정하는 방법에 관하여 이하 도 6 내지 도 7을 참조하여 더 자세히 설명하기로 한다.
도 4는 일 실시 예에 의한 손실된 주파수 대역의 크기를 복원하는 방법을 나타낸 순서도이다.
도 4를 참조하면, 단계 S410에서, 오디오 신호를 복원하는 장치는 현재 프레임에서, 컷오프 주파수를 기준으로 소정 구간의 주파수 대역을 복원시 이용할 주파수 대역으로 설정할 수 있다. 컷오프 주파수는 도 1의 단계 S120 또는 도 3의 단계 340에서 획득된 것일 수 있다. 예를 들면, 장치는 컷오프 주파수를 기준으로 소정 구간의 저주파수 대역을 손실되지 않은 주파수 대역으로써 복원에 이용될 주파수 대역으로 설정할 수 있다.
단계 S420에서, 장치는 단계 S410에서 설정된 손실되지 않은 주파수 대역의 오디오 신호를 이용하여 손실된 주파수 대역의 오디오 신호를 복원할 수 있다. 손실된 주파수 대역은 도 1의 단계 S110 또는 도 3의 단계 S320에서 검출된 주파수 대역에 포함될 수 있다. 장치는 설정된 주파수 대역의 크기를 손실된 주파수 대역으로 복사함으로써 손실된 주파수 대역의 오디오 데이터를 복원할 수 있다.
장치는 설정된 주파수 대역의 오디오 신호를 그대로 이동시켜 복사하는 시프트(shift) 기법이나, 설정된 주파수 대역의 오디오 신호를 180도 회전시켜 복사하는 폴딩(folding) 기법을 이용할 수 있다. 장치는 시프트 기법이나 폴딩 기법을 이용하여 설정된 주파수 대역의 오디오 신호를 손실된 주파수 대역으로 복사할 수 있다.
예를 들면, 장치는 손실된 주파수 대역의 소정 구간마다 반복적으로 복사를 수행할 수 있다. 또 다른 예로, 장치는 설정된 주파수 대역의 크기만큼의 손실된 주파수 대역의 구간에 대하여 복사를 수행하고, 나머지 구간은 복사된 구간의 오디오 신호에 기초하여 추정될 수 있다.
단계 S430에서, 장치는 단계 S410에서 설정된 구간의 신호 특성을 분석할 수 있다. 복사가 수행된 구간마다 불연속성이 발생될 수 있으므로, 장치는 복원된 주파수 대역의 불연속성을 해소하기 위하여, 단계 S410에서 설정된 구간의 신호 특성을 분석할 수 있다. 예를 들면, 장치는 단계 S410에서 설정된 저주파수 대역의 엔벨롭 특성을 분석할 수 있다. 주파수 대역의 엔벨롭 특성이란, 주파수 스펙트럼의 엔벨롭의 특성, 예를 들면, 엔벨롭의 모양, 기울기 등의 스펙트럼 상에서의 특성을 의미할 수 있다. 주파수 스펙트럼에서의 엔벨롭은 반복적으로 출현하는 한무리의 직선 또는 곡선에 접하는 일정한 곡선으로 구성될 수 있으며, 주파수 변화에 따라 서서히 변화할 수 있다. 따라서, 장치는 저주파수 대역의 엔벨롭 특성을 이용하여 복사가 수행된 구간의 불연속성을 제거할 수 있다.
단계 S440에서, 장치는 단계 S430에서 분석한 저주파수 대역의 신호 특성에 기초하여 고주파수 대역의 신호 특성을 추정할 수 있다. 예를 들면, 장치는 주파수 스펙트럼에서 분석된 저주파수 대역의 엔벨롭 특성에 기초하여 고주파수 대역의 엔벨롭 특성을 추정할 수 있다.
단계 S450에서, 장치는 단계 S440에서 추정된 신호 특성에 따라 고주파수 대역의 스펙트럼을 보정할 수 있다. 상술된 스펙트럼은 주파수별 에너지 값을 나타낸 에너지 스펙트럼일 수 있으며, 이에 한하지 않고, 다양한 종류의 주파수 도메인의 오디오 데이터를 포함할 수 있다.
예를 들면, 장치는 저주파수 대역의 엔벨롭 특성에 기초하여 추정된 고주파수 대역의 엔벨롭 특성에 따라 각 주파수 값의 스펙트럼에 적용될 가중치 값을 결정할 수 있다. 장치는 결정된 가중치 값을 고주파수 대역의 스펙트럼에 대하여 적용함으로써 고주파수 대역의 스펙트럼을 보정할 수 있다.
도 5는 일 실시 예에 의한 오디오 신호의 스펙트럼을 복원하는 일 예를 나타낸 예시 도면이다.
도 5의 510을 참조하면, 컷오프 주파수를 기준으로 주파수 대역의 스펙트럼을 180도 회전시켜 복사하는 폴딩(folding) 기법에 따라 손실된 주파수 대역의 스펙트럼이 복원될 수 있다. 또한, 520을 참조하면, 컷오프 주파수를 기준으로 주파수 대역의 크기를 그대로 이동시켜 복사하는 시프트(shift) 기법에 따라 손실된 주파수 대역의 스펙트럼이 복원될 수 있다.
장치는 510 및 520과 같이 폴딩 또는 시프트 기법에 따라 크기가 복원된 주파수 대역에 대하여 상술된 도 4의 S430 내지 S450 단계를 수행함으로써 컷오프 주파수 지점에서 발생된 불연속성을 해소할 수 있다. 장치는 컷오프 주파수를 기준으로 저주파수 대역의 엔벨롭 특성에 따라 고주파수 대역의 엔벨롭 특성을 추정하고, 추정된 엔벨롭 특성에 따라 고주파수 대역의 스펙트럼을 보정할 수 있다. 장치는 추정된 엔벨롭 특성에 따라 고주파수 대역의 스펙트럼을 보정함으로써 컷오프 주파수 지점에서 발생된 불연속성을 해소할 수 있다.
510 및 520을 참조하면, 컷오프 주파수를 기준으로 복사로 인해 주파수 스펙트럼 상에서 불연속한 지점이 존재하므로, 장치는 저주파수 대역의 엔벨롭 특성에 따라 고주파수 대역의 엔벨롭 특성을 추정할 수 있다. 예를 들면, 장치는 저주파수 대역의 엔벨롭의 기울기 값에 따라 고주파수 대역의 엔벨롭의 기울기 값을 추정할 수 있다. 또한 장치는 컷오프 주파수 지점에서의 엔벨롭이 연속적인 값을 가지도록 고주파수 대역의 스펙트럼을 보정할 수 있다.
이하 도 6 내지 도 7을 참조하여, 손실된 주파수 대역의 위상 값을 조정하는 방법에 관하여 더 자세히 설명하기로 한다.
도 6은 일 실시 예에 의한 손실된 주파수 대역의 위상을 조정하는 방법을 나타낸 순서도이다.
도 6을 참조하면, 단계 S610에서, 오디오 신호를 복원하는 장치는 손실된 주파수 대역에 포함된 각 주파수의 크기 값을 복원하는데 이용된 주파수 값을 획득할 수 있다. 장치는 도 4 또는 도 3의 단계 S350에서 손실된 주파수 대역의 크기를 복원하는데 이용된 주파수 값을 획득할 수 있다.
도 4의 단계 S420에서 복사가 수행되는 경우, 복사된 주파수 대역 신호의 위상 값은 복사에 이용된 주파수 대역 신호의 위상 값과 동일하다. 그러나, 복사 시 이용된 저주파 성분과 복사된 고주파 성분의 프레임 간의 위상 변화량이 서로 다를 수 있다. 따라서, 복원 후 오디오 신호가 시간 도메인의 신호로 재변환되는 경우, 프레임 간 불연속성이 발생될 수 있다. 따라서, 장치는 불연속성을 해소하기 위하여 복사 시 이용된 주파수 값을 이용하여 복원된 주파수 대역에 속한 주파수들의 위상 값을 조정할 수 있다. 위상 값의 조정은 복원된 주파수 대역에 속한 각 주파수 별로 수행될 수 있다.
예를 들어, 손실되지 않은 주파수 대역에 속한 주파수 값 중 5kHz의 오디오 신호가 손실된 주파수 대역에 속한 주파수 값 중 10kHz의 오디오 신호로 복원되는 경우를 이하에서 더 자세히 설명하기로 한다.
단계 S620에서, 장치는 단계 S610에서 획득된 주파수 값에 대한 소정 시간 단위의 위상 변화량을 획득할 수 있다. 예를 들면, 장치는 5kHz에 대한 프레임 단위의 위상 변화량을 획득할 수 있다. 5kHz의 현재 프레임과 이전 프레임 사이의 위상 변화량이 π인 경우, 장치는 π를 5kHz의 위상 변화량으로 획득할 수 있다.
단계 S630에서, 장치는 단계 S610에서 획득된 주파수 값과 복원된 주파수 값 간의 비율을 획득할 수 있다. 주파수 값에 따라 주기가 달라지게 되므로 위상 값도 달라질 수 있다. 따라서, 장치는 주파수 값을 고려하여 복원된 주파수 대역의 위상 값을 조정할 수 있다. 예를 들면, 장치는 5kHz와 10kHz 간 주파수 값 비율로써 2를 획득할 수 있다.
단계 S640에서, 장치는 단계 S620 및 S630에서 획득된 위상 변화량과 비율에 기초하여 복원된 주파수 값의 위상 변화량을 추정할 수 있다. 예를 들면, 장치는 위상 변화량과 비율을 곱한 값인 프레임당 2π 값을 복원된 주파수 값 10kHz의 위상 변화량으로 추정할 수 있다.
단계 S650에서, 장치는 단계 S640에서 추정된 위상 변화량에 기초하여 복원된 주파수 값의 위상을 조정할 수 있다. 위상이 조정되기 전, 복원된 주파수 값 10kHz의 프레임당 위상 변화량은 5kHz의 프레임당 위상 변화량과 동일한 π 값이나, 위상이 조정됨에 따라서, 복원된 주파수 값 10kHz의 프레임당 위상 변화량은 2π으로 바뀔 수 있다. 장치는 복원된 주파수 값과 복원 시 이용된 주파수 값의 비율에 따라 복원된 주파수의 위상을 조정함으로써, 복원된 주파수의 위상의 불연속성으로 인한 음질 저하를 방지할 수 있다.
도 7은 일 실시 예에 의한 오디오 신호의 위상 값을 조정하는 일 예를 나타낸 예시 도면이다. 복원된 주파수 값을 10kHz, 복원하는데 이용된 주파수 값을 5kHz인 것을 예로 들어 설명하기로 한다.
도 7의 710은, 복원하는데 이용된 주파수 값에 대한 위상을 나타낸 그래프로, 5kHz 주파수에 대한 1 프레임에서의 위상 변화량은 π이다.
720은 복원된 주파수 값에 대한 위상을 나타낸 그래프로, 10kHz 주파수에 대한 위상은 5kHz 주파수에 대한 위상이 그대로 복사됨에 따라, 1 프레임에서의 위상 변화량이 5kHz와 같은 π로 나타날 수 있다. 따라서, 복원된 주파수 값에 대한 위상의 경우, 프레임 단위로 불연속성이 나타날 수 있다.
730은 주파수 값 비율에 따라 조정된 복원된 주파수 값에 대한 위상을 나타낸 그래프이다. 장치는 위상 변화량과 비율을 곱한 값인 프레임당 2π 값을 복원된 주파수 값 10kHz의 위상 변화량으로 추정하고, 추정된 위상 변화량에 따라 복원된 주파수 값의 위상을 조정할 수 있다. 따라서, 복원된 주파수 값 10kHz의 프레임당 위상 변화량은 2π으로 바뀔 수 있다.
이하 도 8을 참조하여, 오디오 신호를 복원하는 장치의 내부 구조에 관하여 더 자세히 설명하기로 한다.
도 8은 일 실시 예에 따라 오디오 신호를 복원하는 장치의 내부 구조를 나타낸 블록도이다.
일 실시 예에 의한 장치(800)는 전화, 모바일 폰 등을 포함하는 음성통신 전용단말, TV, MP3 플레이어 등을 포함하는 방송 혹은 음악 전용장치, 혹은 음성통신 전용단말과 방송 혹은 음악 전용장치의 융합 단말장치가 포함될 수 있으나, 이에 한정되는 것은 아니다. 또한, 장치(800)는 클라이언트, 서버 혹은 클라이언트와 서버 사이에 배치되는 변환기로서 사용될 수 있다.
도 8을 참조하면, 장치(800)는 수신부(810), 제어부(820) 및 스피커(830)를 포함할 수 있다.
수신부(810)는 복원할 오디오 신호를 획득할 수 있다. 오디오 신호는 시간 도메인의 PCM(Pulse Code Modulation) 신호일 수 있다. 인코딩된 오디오 신호는 디코딩됨으로써 PCM 신호로 변환될 수 있다.
수신부(810)는 무선 인터넷, 무선 인트라넷, 무선 전화망, 무선 랜(LAN), 와이파이(Wi-Fi), 와이파이 다이렉트(WFD, Wi-Fi Direct), 3G(Generation), 4G(4 Generation), 블루투스(Bluetooth), 적외선 통신(IrDA, Infrared Data Association), RFID(Radio Frequency Identification), UWB(Ultra WideBand), 지그비(Zigbee), NFC(Near Field Communication)와 같은 무선 네트워크 또는 유선 전화망, 유선 인터넷과 같은 유선 네트워크를 통해 외부 기기와 데이터를 송수신할 수 있도록 구성될 수 있다.
제어부(820)는 수신부(810)에 의해 수신된 오디오 신호를 복원할 수 있다. 제어부(820)는 시간 도메인의 오디오 신호를 주파수 도메인의 신호로 변환하고, 주파수의 에너지값에 기초하여, 손실된 주파수 대역을 검출할 수 있다. 제어부(820)는 손실된 주파수 대역에 기초하여 컷오프 주파수를 결정하고, 컷오프 주파수에 기초하여 손실된 주파수 대역의 오디오 신호를 복원할 수 있다.
제어부(820)는 컷오프 주파수를 기준으로 손실되지 않은 주파수 대역의 오디오 신호를 이용하여 손실된 주파수 대역의 오디오 신호를 복원할 수 있다. 제어부(820)는 시프트 또는 폴딩 등의 복사 기법을 이용하여 손실된 주파수 대역의 크기를 복원할 수 있다. 또한, 제어부(820)는 위상의 불연속성을 해소하기 위해, 복원하는데 이용된 주파수 대역의 오디오 신호에 기초하여 복원된 주파수 대역의 위상 값을 조정할 수 있다.
스피커(830)는 제어부(820)에 의해 복원된 오디오신호를 외부로 출력할 수 있다.
한편, 장치(800)가 예를 들어 모바일 폰인 경우, 도시되지 않았지만 키패드 등과 같은 유저 입력부, 유저 인터페이스 혹은 모바일 폰에서 처리되는 정보를 디스플레이하는 디스플레이부, 모바일 폰의 전반적인 기능을 제어하는 프로세서를 더 포함할 수 있다. 또한, 모바일 폰은 촬상 기능을 갖는 카메라부와 모바일 폰에서 필요로 하는 기능을 수행하는 적어도 하나 이상의 구성요소를 더 포함할 수 있다.
한편, 장치(800)가 예를 들어 TV인 경우, 도시되지 않았지만 키패드 등과 같은 유저 입력부, 수신된 방송정보를 디스플레이하는 디스플레이부, TV의 전반적인 기능을 제어하는 프로세서를 더 포함할 수 있다. 또한, TV는 TV에서 필요로 하는 기능을 수행하는 적어도 하나 이상의 구성요소를 더 포함할 수 있다.
일 실시 예에 의하면, 오디오 신호의 손실된 주파수 영역을 복원함으로써 오디오 신호의 음질을 향상시킬 수 있다.
일부 실시 예에 의한 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
비록 상기 설명이 다양한 실시예들에 적용되는 본 발명의 신규한 특징들에 초점을 맞추어 설명되었지만, 본 기술 분야에 숙달된 기술을 가진 사람은 본 발명의 범위를 벗어나지 않으면서도 상기 설명된 장치 및 방법의 형태 및 세부 사항에서 다양한 삭제, 대체, 및 변경이 가능함을 이해할 것이다. 따라서, 본 발명의 범위는 상기 설명에서보다는 첨부된 특허청구범위에 의해 정의된다. 특허청구범위의 균등 범위 안의 모든 변형은 본 발명의 범위에 포섭된다.

Claims (15)

  1. 오디오 신호를 복원하는 방법에 있어서,
    상기 오디오 신호의 주파수별 에너지 값에 기초하여, 손실된 주파수 대역을 검출하는 단계;
    상기 손실된 주파수 대역에 기초하여, 컷오프 주파수를 구하는 단계;
    상기 컷오프 주파수에 기초하여, 상기 손실된 주파수 대역의 오디오 신호를 복원하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 검출하는 단계는
    상기 오디오 신호를 주파수 도메인의 신호로 변환하는 단계;
    상기 주파수 도메인의 오디오 신호에서, 에너지 감소량이 제1 기준값 이상인 주파수 대역을 검출하는 단계;
    상기 검출된 주파수 대역에 기초하여, 에너지 값이 제2 기준값 이하인 구간을 상기 손실된 주파수 대역으로 검출하는 단계를 포함하는, 방법.
  3. 제1항에 있어서, 상기 복원하는 단계는
    상기 컷오프 주파수를 기준으로, 상기 오디오 신호에서 소정 구간의 주파수 대역을 복원에 이용될 주파수 대역으로 설정하는 단계;
    상기 설정된 주파수 대역의 오디오 신호를 이용하여, 상기 손실된 주파수 대역의 오디오 신호를 복원하는 단계를 포함하는, 방법.
  4. 제3항에 있어서, 상기 복원하는 단계는
    상기 설정된 주파수 대역의 신호 특성을 분석하는 단계;
    상기 분석된 신호 특성에 기초하여, 상기 손실된 주파수 대역의 신호 특성을 추정하는 단계;
    상기 추정된 신호 특성에 기초하여, 상기 손실된 주파수 대역의 크기를 조정하는 단계를 포함하는, 방법.
  5. 제3항에 있어서, 상기 복원하는 단계는
    상기 손실된 주파수 대역 중 적어도 하나의 주파수의 오디오 신호를 복원하는데 이용된 오디오 신호의 주파수 값을 획득하는 단계;
    상기 획득된 주파수 값에 대한 위상 변화량을 소정 시간 단위로 획득하는 단계;
    상기 위상 변화량에 기초하여, 상기 적어도 하나의 주파수 값에 대한 위상을 조정하는 단계를 포함하는, 방법.
  6. 제5항에 있어서, 상기 위상을 조정하는 단계는
    상기 획득된 주파수 값과 상기 적어도 하나의 주파수 값 간 비율을 획득하는 단계;
    상기 결정된 비율 및 상기 위상 변화량에 기초하여, 상기 적어도 하나의 주파수 값에 대한 위상 변화량을 추정하는 단계;
    상기 추정된 위상 변화량에 기초하여, 상기 적어도 하나의 주파수 값에 대한 위상을 조정하는 단계를 포함하는, 방법.
  7. 제1항에 있어서,
    상기 컷오프 주파수는 소정 시간 단위로 결정되고,
    상기 손실된 주파수 대역의 오디오 신호는 상기 소정 시간 단위로 컷오프 주파수에 기초하여 복원되는, 방법.
  8. 제1항에 있어서, 상기 컷오프 주파수를 결정하는 단계는
    상기 검출된 주파수 대역에 기초하여 결정된 컷오프 주파수가 복수개 존재하는 경우, 상기 결정된 컷오프 주파수 값 중 가장 큰 값을 상기 컷오프 주파수로 결정하는 단계를 포함하는, 방법.
  9. 오디오 신호를 복원하는 장치에 있어서,
    상기 오디오 신호를 획득하는 수신부;
    상기 오디오 신호의 주파수별 에너지 값에 기초하여, 손실된 주파수 대역을 검출하고, 상기 손실된 주파수 대역에 기초하여, 컷오프 주파수를 구하고, 상기 컷오프 주파수에 기초하여, 상기 손실된 주파수 대역의 오디오 신호를 복원하는 제어부;
    상기 복원된 오디오 신호를 출력하는 스피커를 포함하는, 장치.
  10. 제9항에 있어서, 상기 제어부는
    상기 오디오 신호를 주파수 도메인의 신호로 변환하고, 상기 주파수 도메인의 오디오 신호에서, 에너지 감소량이 제1 기준값 이상인 주파수 대역을 검출하고, 상기 검출된 주파수 대역에 기초하여, 에너지 값이 제2 기준값 이하인 구간을 상기 손실된 주파수 대역으로 검출하는, 장치.
  11. 제9항에 있어서, 상기 제어부는
    상기 컷오프 주파수를 기준으로, 상기 오디오 신호에서 소정 구간의 주파수 대역을 복원에 이용될 주파수 대역으로 설정하고, 상기 설정된 주파수 대역의 오디오 신호를 이용하여, 상기 손실된 주파수 대역의 오디오 신호를 복원하는, 장치.
  12. 제11항에 있어서, 상기 제어부는
    상기 손실된 주파수 대역 중 적어도 하나의 주파수의 오디오 신호를 복원하는데 이용된 오디오 신호의 주파수 값을 획득하고, 상기 획득된 주파수 값에 대한 위상 변화량을 소정 시간 단위로 획득하고, 상기 위상 변화량에 기초하여, 상기 적어도 하나의 주파수 값에 대한 위상을 조정하는, 장치.
  13. 제12항에 있어서, 상기 제어부는
    상기 획득된 주파수 값과 상기 적어도 하나의 주파수 값 간 비율을 획득하고, 상기 결정된 비율 및 상기 위상 변화량에 기초하여, 상기 적어도 하나의 주파수 값에 대한 위상 변화량을 추정하고, 상기 추정된 위상 변화량에 기초하여, 상기 적어도 하나의 주파수 값과 대응되는 위상 값을 조정하는, 장치.
  14. 제9항에 있어서, 상기 제어부는
    상기 검출된 주파수 대역에 기초하여 결정된 컷오프 주파수가 복수개 존재하는 경우, 상기 결정된 컷오프 주파수 값 중 가장 큰 값을 상기 컷오프 주파수로 결정하는, 장치.
  15. 오디오 신호의 대역폭을 확장하는 방법에 있어서,
    제1 대역폭의 오디오 신호를 제2 대역폭의 오디오 신호로 확장하는 단계;
    상기 제1 대역폭의 오디오 신호의 위상 변화량을 검출하는 단계;
    상기 위상 변화량을 이용하여 제2 대역폭으로 확장된 오디오 신호의 위상을 보정하는 단계를 포함하는, 방법.
PCT/KR2015/010665 2014-11-07 2015-10-08 오디오 신호를 복원하는 방법 및 장치 WO2016072628A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201580060240.3A CN107077849B (zh) 2014-11-07 2015-10-08 用于恢复音频信号的方法和设备
US15/525,181 US10460736B2 (en) 2014-11-07 2015-10-08 Method and apparatus for restoring audio signal
KR1020177010269A KR102033603B1 (ko) 2014-11-07 2015-10-08 오디오 신호를 복원하는 방법 및 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201462076727P 2014-11-07 2014-11-07
US62/076,727 2014-11-07

Publications (1)

Publication Number Publication Date
WO2016072628A1 true WO2016072628A1 (ko) 2016-05-12

Family

ID=55909318

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/010665 WO2016072628A1 (ko) 2014-11-07 2015-10-08 오디오 신호를 복원하는 방법 및 장치

Country Status (4)

Country Link
US (1) US10460736B2 (ko)
KR (1) KR102033603B1 (ko)
CN (1) CN107077849B (ko)
WO (1) WO2016072628A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107077849B (zh) * 2014-11-07 2020-09-08 三星电子株式会社 用于恢复音频信号的方法和设备
KR20180056032A (ko) * 2016-11-18 2018-05-28 삼성전자주식회사 신호 처리 프로세서 및 신호 처리 프로세서의 제어 방법
US10726852B2 (en) 2018-02-19 2020-07-28 The Nielsen Company (Us), Llc Methods and apparatus to perform windowed sliding transforms
US10629213B2 (en) 2017-10-25 2020-04-21 The Nielsen Company (Us), Llc Methods and apparatus to perform windowed sliding transforms
KR102648122B1 (ko) * 2017-10-25 2024-03-19 삼성전자주식회사 전자 장치 및 그 제어 방법
US11049507B2 (en) 2017-10-25 2021-06-29 Gracenote, Inc. Methods, apparatus, and articles of manufacture to identify sources of network streaming services
US10733998B2 (en) 2017-10-25 2020-08-04 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to identify sources of network streaming services
CN107863095A (zh) 2017-11-21 2018-03-30 广州酷狗计算机科技有限公司 音频信号处理方法、装置和存储介质
CN108156575B (zh) 2017-12-26 2019-09-27 广州酷狗计算机科技有限公司 音频信号的处理方法、装置及终端
CN108156561B (zh) 2017-12-26 2020-08-04 广州酷狗计算机科技有限公司 音频信号的处理方法、装置及终端
CN109147805B (zh) * 2018-06-05 2021-03-02 安克创新科技股份有限公司 基于深度学习的音频音质增强
CN109036457B (zh) * 2018-09-10 2021-10-08 广州酷狗计算机科技有限公司 恢复音频信号的方法和装置
CN109887515B (zh) * 2019-01-29 2021-07-09 北京市商汤科技开发有限公司 音频处理方法及装置、电子设备和存储介质
WO2024085551A1 (ko) * 2022-10-16 2024-04-25 삼성전자주식회사 패킷 손실 은닉을 위한 전자 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100663379B1 (ko) * 2005-08-29 2007-01-02 주식회사 레인콤 멀티미디어용 휴대기기 오디오의 음질 향상 시스템 및 그향상 방법
JP2007043295A (ja) * 2005-08-01 2007-02-15 D & M Holdings Inc 増幅装置及び振幅周波数特性調整方法
JP2008122597A (ja) * 2006-11-10 2008-05-29 Sanyo Electric Co Ltd オーディオ信号処理装置及びオーディオ信号処理方法
JP2013017022A (ja) * 2011-07-04 2013-01-24 Nippon Hoso Kyokai <Nhk> オーディオ信号ミキシング装置およびそのプログラム、ならびに、オーディオ信号復元装置およびそのプログラム
WO2014012391A1 (zh) * 2012-07-18 2014-01-23 华为技术有限公司 一种语音数据丢包的补偿方法及装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6704711B2 (en) 2000-01-28 2004-03-09 Telefonaktiebolaget Lm Ericsson (Publ) System and method for modifying speech signals
US20020016698A1 (en) * 2000-06-26 2002-02-07 Toshimichi Tokuda Device and method for audio frequency range expansion
US7447631B2 (en) * 2002-06-17 2008-11-04 Dolby Laboratories Licensing Corporation Audio coding system using spectral hole filling
KR100608062B1 (ko) * 2004-08-04 2006-08-02 삼성전자주식회사 오디오 데이터의 고주파수 복원 방법 및 그 장치
DE602005001048T2 (de) * 2005-01-31 2008-01-03 Harman Becker Automotive Systems Gmbh Erweiterung der Bandbreite eines schmalbandigen Sprachsignals
CN101160725A (zh) * 2005-04-13 2008-04-09 弗劳恩霍夫应用研究促进协会 确保最大比特率的无损信息编码
KR100851970B1 (ko) * 2005-07-15 2008-08-12 삼성전자주식회사 오디오 신호의 중요주파수 성분 추출방법 및 장치와 이를이용한 저비트율 오디오 신호 부호화/복호화 방법 및 장치
KR100717058B1 (ko) 2005-11-28 2007-05-14 삼성전자주식회사 고주파 성분 복원 방법 및 그 장치
US8295507B2 (en) * 2006-11-09 2012-10-23 Sony Corporation Frequency band extending apparatus, frequency band extending method, player apparatus, playing method, program and recording medium
US7761290B2 (en) * 2007-06-15 2010-07-20 Microsoft Corporation Flexible frequency and time partitioning in perceptual transform coding of audio
ES2464722T3 (es) * 2008-03-04 2014-06-03 Lg Electronics Inc. Método y aparato para procesar una señal de audio
JP6181651B2 (ja) * 2011-08-19 2017-08-16 シルコフ，アレクサンダー 多重構造、多重レベルの情報形式化および構造化方法、ならびに関連する装置
JP5737077B2 (ja) * 2011-08-30 2015-06-17 富士通株式会社 オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム
KR101897455B1 (ko) 2012-04-16 2018-10-04 삼성전자주식회사 음질 향상 장치 및 방법
WO2014185569A1 (ko) * 2013-05-15 2014-11-20 삼성전자 주식회사 오디오 신호의 부호화, 복호화 방법 및 장치
JP6157926B2 (ja) * 2013-05-24 2017-07-05 株式会社東芝 音声処理装置、方法およびプログラム
WO2015077641A1 (en) * 2013-11-22 2015-05-28 Qualcomm Incorporated Selective phase compensation in high band coding
CN107077849B (zh) * 2014-11-07 2020-09-08 三星电子株式会社 用于恢复音频信号的方法和设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007043295A (ja) * 2005-08-01 2007-02-15 D & M Holdings Inc 増幅装置及び振幅周波数特性調整方法
KR100663379B1 (ko) * 2005-08-29 2007-01-02 주식회사 레인콤 멀티미디어용 휴대기기 오디오의 음질 향상 시스템 및 그향상 방법
JP2008122597A (ja) * 2006-11-10 2008-05-29 Sanyo Electric Co Ltd オーディオ信号処理装置及びオーディオ信号処理方法
JP2013017022A (ja) * 2011-07-04 2013-01-24 Nippon Hoso Kyokai <Nhk> オーディオ信号ミキシング装置およびそのプログラム、ならびに、オーディオ信号復元装置およびそのプログラム
WO2014012391A1 (zh) * 2012-07-18 2014-01-23 华为技术有限公司 一种语音数据丢包的补偿方法及装置

Also Published As

Publication number Publication date
CN107077849A (zh) 2017-08-18
CN107077849B (zh) 2020-09-08
KR20170065545A (ko) 2017-06-13
KR102033603B1 (ko) 2019-10-17
US10460736B2 (en) 2019-10-29
US20170337926A1 (en) 2017-11-23

Similar Documents

Publication Publication Date Title
WO2016072628A1 (ko) 오디오 신호를 복원하는 방법 및 장치
JP5750167B2 (ja) 端末間の体感品質を測定するためのオーディオフィンガープリントの差分
WO2010018929A2 (ko) 가청주파수 대역에서의 데이터 송수신 시스템 및 방법
JP4101780B2 (ja) 信号伝送方法および信号伝送装置
CN108616800B (zh) 音频的播放方法和装置、存储介质、电子装置
US9602943B2 (en) Audio processing method and audio processing apparatus
JP2015531084A5 (ko)
JP5775227B2 (ja) オーディオ符号化のための方法および装置
WO2019009562A1 (en) SOUND OUTPUT APPARATUS AND ASSOCIATED SIGNAL PROCESSING METHOD
JP6608380B2 (ja) 耐雑音性を改良した通信システム、方法および装置
CN107920321A (zh) 一种扬声器故障处理方法和装置
US20210306116A1 (en) Measuring and Evaluating a Test Signal Generated by a Device Under Test (DUT)
US20230137053A1 (en) Audio Coding Method and Apparatus
WO2017131267A1 (ko) 가청 주파수 대역 오디오 신호를 이용한 디지털 정보 스텔스 방법
CN111883158A (zh) 一种回声消除方法和装置
US20230367543A1 (en) Source-based sound quality adjustment tool
US9949031B2 (en) Class-D amplifier with pulse density modulation output feedback for higher performance acoustic echo canceller
US20230105508A1 (en) Audio Coding Method and Apparatus
CN113966531A (zh) 声音信号接收解码方法、声音信号解码方法、声音信号接收侧装置、解码装置、程序以及记录介质
US2113976A (en) Pseudo-extension of frequency bands
KR20080082494A (ko) 송신 장치 및 그 제어 방법
JP2008061034A (ja) 無線通信装置及び無線通信方法
JP3849103B2 (ja) Ｍｐｅｇ−ａｕｄｉｏ復号処理方式
US11837241B2 (en) Encoding and decoding method, decoding method, apparatuses therefor and program
US20040049304A1 (en) Method and apparatus for digital signal communication between equalizer and surround sound systems

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15856360

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20177010269

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15856360

Country of ref document: EP

Kind code of ref document: A1