WO2016167464A1 - 스피커 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치 - Google Patents

스피커 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치 Download PDF

Info

Publication number
WO2016167464A1
WO2016167464A1 PCT/KR2016/001725 KR2016001725W WO2016167464A1 WO 2016167464 A1 WO2016167464 A1 WO 2016167464A1 KR 2016001725 W KR2016001725 W KR 2016001725W WO 2016167464 A1 WO2016167464 A1 WO 2016167464A1
Authority
WO
WIPO (PCT)
Prior art keywords
audio signal
speaker
filter function
correcting
information
Prior art date
Application number
PCT/KR2016/001725
Other languages
English (en)
French (fr)
Inventor
이윤재
김창용
오은미
김선민
박해광
장지호
조재연
황선호
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US15/566,278 priority Critical patent/US20180122396A1/en
Publication of WO2016167464A1 publication Critical patent/WO2016167464A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26—Pre-filtering or post-filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
    • H04R2205/024—Positioning of loudspeaker enclosures for spatial sound reproduction

Definitions

  • the present invention relates to a method and apparatus for processing an audio signal based on information on a speaker from which the audio signal is output.
  • Audio systems capable of outputting audio signals through multiple channels, such as 5.1 channels and 2.1 channels, are provided.
  • the audio signal may be processed and output based on the position of each speaker to which the audio signal is output.
  • the position of the speaker may not be different from or fixed to the position used as the reference for audio signal processing, depending on the surrounding environment in which the speaker is installed or the mobility of the speaker. Therefore, when the position of the speaker is changed, the audio providing system processes the audio signal based on the position of the speaker different from the current position of the speaker, and there is a problem in that it does not provide a high quality audio signal to the listener.
  • the present invention is to process an audio signal adaptively according to information of a speaker, and provides a method and apparatus for processing an audio signal based on location information of a speaker from which an audio signal is output.
  • a high-quality audio signal may be provided to a listener by processing an audio signal according to location information of a plurality of speakers existing at an arbitrary location.
  • FIG. 1 is a diagram illustrating an example of a stereo channel audio system according to an embodiment.
  • FIG. 2 is a diagram illustrating an example of a method of obtaining current location information of a speaker, according to an exemplary embodiment.
  • FIG. 3 is a block diagram illustrating an internal structure of an apparatus for correcting a filter function according to location information of a speaker, according to an exemplary embodiment.
  • FIG. 4 is a flowchart illustrating a method of processing an audio signal according to an exemplary embodiment.
  • FIG. 5 is an exemplary diagram illustrating an example of a filter function in which a frequency response characteristic is flattened according to an exemplary embodiment.
  • FIG. 6 is an exemplary diagram for describing a filter function for preventing a loss due to a phase difference, according to an exemplary embodiment.
  • FIG. 7 is a diagram illustrating an example of applying a notch filter to an audio signal according to an embodiment.
  • FIG. 8 is an exemplary diagram illustrating an example of applying a decorrelator filter to an audio signal according to an embodiment.
  • FIG. 9 is an exemplary diagram illustrating an example of a method of processing a stereo signal according to an exemplary embodiment.
  • FIG. 10 is a block diagram illustrating an internal structure of an apparatus for processing an audio signal according to an exemplary embodiment.
  • a method of processing an audio signal comprising: obtaining a filter function for the audio signal determined according to a predefined position of each speaker; Obtaining location information of a plurality of speakers to which the audio signal is output; Correcting the obtained filter function based on the position information; Processing the audio signal using the corrected filter function.
  • Detecting that location information of the at least one speaker is changed; Correcting the obtained filter function based on the detected position information of the speaker; Processing the audio signal using the corrected filter function.
  • the location information includes at least one of a distance and an angle between a location of each speaker and a listening location.
  • the correcting may include determining a parameter based on the position information; Correcting the filter function using the determined parameter.
  • the parameter is a panning gain for correcting the direction of the sound image of the audio signal based on the position information of the speaker, a gain for correcting the sound level of the sound image of the audio signal based on the position information of the speaker, and And at least one of a delay time for correcting a phase difference of a sound image of the audio signal based on the location information of the speaker.
  • the filter function is a filter function for imparting a sense of altitude to the audio signal having a flat frequency response characteristic in a predetermined frequency band or a filter for imparting the notch characteristic, which is a characteristic of the audio signal having a sense of altitude, to the audio signal. Contains a function.
  • An apparatus for processing an audio signal comprising: a receiver configured to obtain information about the audio signal and positions of a plurality of speakers to which the audio signal is output; Obtaining a filter function for the audio signal determined according to a predefined position of each speaker, correcting the obtained filter function based on the position information, and using the corrected filter function, A control unit for processing; And an output unit configured to output the processed audio signal to the plurality of speakers.
  • any part of the specification is to “include” any component, this means that it may further include other components, except to exclude other components unless otherwise stated.
  • a part is “connected” with another part, this includes not only the case where it is “directly connected” but also the case where it is “electrically connected” with another element between them.
  • part refers to a hardware component, such as software, FPGA or ASIC, and “part” plays certain roles. However, “part” is not meant to be limited to software or hardware.
  • the “unit” may be configured to be in an addressable storage medium and may be configured to play one or more processors.
  • a “part” refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, procedures, Subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays and variables.
  • the functionality provided within the components and “parts” may be combined into a smaller number of components and “parts” or further separated into additional components and “parts”.
  • an audio object refers to each of sound components included in an audio signal.
  • One audio signal may include various audio objects.
  • the audio signal generated by recording the performance of an orchestra includes a plurality of audio objects generated from a plurality of musical instruments such as guitar, violin, and oboe.
  • the sound image means a position where the listener feels as where the sound source occurs.
  • the actual sound is output from the speaker, but the point where each sound source is virtually called a sound image.
  • the size and position of the sound image may vary according to the speaker from which sound is output. When the position of the sound of each sound source is clear and the sound of each sound source is well heard by the listener, it may be determined that the sound position is excellent. For each audio object, there may be a sound image that can be felt by the listener as a source of the audio object.
  • FIG. 1 is a diagram illustrating an example of a stereo channel audio system according to an embodiment.
  • speakers 130 and 140 that output audio signals through a stereo channel may be present at arbitrary positions.
  • the speakers 130 and 140 may output the audio signal processed by the device for processing the audio signal.
  • the positions of the speakers 130 and 140 may be changed in real time.
  • an apparatus for processing an audio signal may detect a position change of the speakers 130 and 140 and process the audio signal based on the changed position information.
  • the apparatus for processing an audio signal may process the audio signal using a filter function that is adaptively determined according to a change in position of the speakers 130 and 140.
  • the apparatus for processing the audio signal may acquire a filter function determined according to the sound image 120 of the audio signal and the predefined positions 150 and 160 of each speaker.
  • the predefined positions 150 and 160 are values for obtaining a filter function, and there may be a difference from the actual position of the current speaker.
  • the device may use a filter function to improve the sound quality of the audio signal.
  • the audio signal processed according to the filter function may be optimally output through the speaker at the prepositioned positions 150 and 160.
  • the filter function may exist for each channel of the audio signal. For example, when the audio signal is output through the left and right speakers, the filter function may exist for the audio signal that can be output through the left and right speakers, respectively.
  • the audio signal may be processed and output by a filter function for each audio object.
  • the filter function may be corrected according to the current position information 130 and 140 of each speaker.
  • the predefined positions 150 and 160 of each speaker may be determined to be symmetrical with respect to the listener position 170.
  • the predefined positions 150 and 160 of each speaker can be determined such that the speakers are positioned symmetrically in front of the listener.
  • the distance between the location of each speaker and the listener location 170 may be the same.
  • Current location information 130 and 140 of the speaker may be location information that may be determined based on the listener location 170.
  • the current position 130 and 140 information of the speaker may be relative positional information based on the listener position 170, and thus the listener position 170 may be arbitrarily determined.
  • the predefined positions 150 and 160 of each speaker may be determined as other positions.
  • the filter function determined according to the prepositioned positions 150 and 160 may be determined from a value stored in the memory of the device at a predetermined value by the manufacturer or the user. In addition, the filter function determined according to the prepositioned positions 150 and 160 may be a value received from the outside or calculated by the device. Without being limited thereto, the filter function determined according to the prepositioned positions 150 and 160 is a value that can be obtained in various ways.
  • the sound image 120 of the audio signal may be positioned at different positions for each audio object.
  • the sound image 210 may be positioned on the display apparatus 110 in which an image signal corresponding to the audio signal is displayed.
  • the sound image 120 may exist for each audio object, and a filter function for improving sound quality may be applied to the audio signal for each sound image 120. Different filter functions for each channel may be applied to the audio signal. Since the filter function may be corrected according to the position information of the speaker, the sound image 120 may be corrected without considering the position where it is located.
  • the apparatus for processing the audio signal may acquire the location information 130 and 140 of the speaker in order to determine a parameter for correcting the filter function.
  • the location information 130 and 140 of the speaker may be acquired in real time, or the changed location information may be obtained as the position movement of one or more speakers is detected by the device. Whenever the position of the speaker is changed, the device may correct the filter function and process and output the audio signal with the corrected filter function.
  • the location information 130 and 140 of the speaker may include coordinate values based on the location of the listener 170, or distance information and angle information of the speaker based on the location of the listener 170.
  • the location information 130 and 140 of the speaker may include distance information with respect to each speaker based on the location 170 of the listener, and direction information of the listener 170 and angle information formed by each speaker. .
  • the coordinate value may be converted into the above-described distance information and angle information based on the location 170 of the listener.
  • the apparatus for processing the audio signal may obtain parameters for correcting the filter function based on the location 130 and 140 information of the speaker, and correct the filter function using the parameter. Parameters for calibrating the filter function will be described in more detail below with reference to FIG. 3.
  • the apparatus for processing an audio signal may be present in the display apparatus 110 for processing an image signal corresponding to the audio signal or may be the display apparatus 110.
  • the apparatus for processing an audio signal may be various types of devices connected to a speaker for outputting an audio signal by wire or wireless.
  • the position of the listener may be determined based on the position of the portable device of the listener, for example, the smartphone.
  • the location of the listener is not limited thereto and may be determined based on various types of terminal devices, for example, wearable devices and PDA terminals.
  • location information of the speaker 211 may be obtained based on the location 214 of the center of the portable device of the listener.
  • the output sound may be input to the microphones 212 and 213 of the portable device through different paths.
  • T2-T1 and T3-T1 which are the travel times of the sound input to the respective microphones 212 and 213, the length of each path can be determined.
  • the speed of sound is 340 m / s
  • the length of each path can be determined as 340 * (travel time).
  • the distance information and the angle information between the listener position 214 and the speaker 211 may be determined based on the length of each path and the length between the two microphones 212 and 213.
  • location information of the speaker 221 may be obtained based on the speaker location 224 of the portable device 225 of the listener.
  • the portable device 225 may further include a speaker 224, and the speaker 221 may further include microphones 222 and 223.
  • the output sound may be input to the microphones 222 and 223 of the speaker through different paths.
  • T2-T1 and T3-T1 the travel times between the microphones 222, 223 and the speakers 224 of the sound input to the respective microphones 222, 223, the length of each path is 340 * ( Travel time).
  • the distance information and the angle information between the listener position 224 and the speaker 221 may be obtained based on the length of each path and the length between the two microphones 222 and 223.
  • the method of obtaining the location information of the speaker illustrated in FIG. 2 is merely an example, and the location information of the speaker may be obtained by various methods.
  • FIG. 3 is a block diagram illustrating an internal structure of an apparatus for correcting a filter function according to location information of a speaker, according to an exemplary embodiment.
  • an apparatus 300 for processing an audio signal may include a panning gain determiner 310, a gain determiner 320, a delay determiner 330, and a filter function acquirer 340.
  • the filter function corrector 350 and the audio signal processor 360 may be included.
  • the panning gain determiner 310, the gain determiner 320, and the delay determiner 330 may determine different parameters based on the speaker position information.
  • the panning gain determiner 310 may determine a panning gain for correcting the direction of the audio signal output by each speaker. Since the direction of the sound output through the speaker is panned around the listener as the speaker moves, the panning gain may be determined based on the degree of panning output through each speaker.
  • the panning gain determiner 310 may determine a panning gain that may be determined according to the angles ⁇ L and ⁇ R that the speaker is panned based on the listener position 170 at the predefined position 150.
  • the panning gain can be determined for each speaker. For example, the panning gain may be determined as in Equation 1 below.
  • the gain determiner 320 may determine a gain for correcting a sound level of the audio signal output by each speaker. Since the distance between the speaker and the listener changes as the speaker moves, the volume of sound output through the speaker at the listener position may vary. For example, when the distance between the speaker and the listener is shorter than that of other speakers, the sound image may be shifted as the size of the sound output through the speaker increases at the listener position. In the opposite case, the sound image may be shifted as the size of the sound output through the speaker becomes smaller at the listener position.
  • the gain determiner 320 may determine a gain value according to the distances r L and r R between the listener position 170 and the speaker. For example, the gain may be determined as in Equation 2 below.
  • the gain value that can be determined according to Equation 2 below is a value that can be determined under the assumption that the distance between each speaker and the listener at the predefined position 150 is equal to each other.
  • the gain value is not limited to Equation 2, and may be determined in various ways according to the distance between each speaker and the listener at the predefined location 150.
  • the delay determiner 330 may determine a delay time for correcting a phase difference of the audio signal output by each speaker. Since the distance between each speaker and the listener changes as the at least one speaker is moved, there may be a phase difference of sound output through each speaker at the listener position.
  • the delay determiner 330 may determine the delay time according to the distances r L and r R between the listener position 170 and the speaker. For example, the delay time may be determined by the time difference at which the sound arrives from each speaker to the listener position as shown in Equations 3 to 4 below. Equation 3 and 4 340m / s means the speed of the sound, different delay time may be determined according to the environment in which the sound is transmitted. For example, since the speed of sound varies according to the temperature of air through which sound is transmitted, different delay times may be determined according to air temperature.
  • the delay time may be determined according to Equation 3.
  • the delay time may be determined according to Equation 4.
  • the delay time that can be determined according to Equations 3 to 4 is a value that can be determined under the assumption that the distance between each speaker and the listener at the predefined positions 150 and 160 is the same.
  • the delay time is not limited to Equations 3 to 4, and may be determined in various ways according to the distance between each speaker and the listener at the predefined location 150.
  • the filter function obtaining unit 340 may obtain a filter function for improving the sound quality of the audio signal output through the speaker based on the positions 150 and 160 of each speaker.
  • the positions 150 and 160 of the predefined speaker may be determined to be symmetrical to each other in front of the listener position.
  • the filter function corrector 350 may correct the filter function obtained by the filter function acquirer 340 based on the determined at least one parameter.
  • the filter function may be corrected according to Equations 5 to 6 below.
  • H L and H R are filter function values corresponding to sound signals output through the respective speakers, and represent values obtained by the filter function obtaining unit 340.
  • H ' L and H' R represent filter function values corresponding to each speaker corrected by the filter function corrector 350.
  • the filter function When r L is smaller than r R , the filter function may be corrected according to Equation 5. On the other hand, when r L is greater than r R , the filter function may be corrected according to Equation 6. Since the shorter the distance to the listener, the earlier the phase, the phase difference can be compensated for by the delay time. Correction of the filter function is not limited to the equations (5) to (6), and can be determined in various ways.
  • the audio signal processor 360 may process and output an audio signal by using the corrected filter function. For example, as shown in Equation 7 below, the audio signal processor 360 may process an audio signal by performing a convolution operation on the audio signal and the corrected filter function.
  • L (t), R (t) represents the audio signal before processing
  • H ' L (t) and H' R (t) represent the corrected filter function.
  • L '(t) and R' (t) represent the audio signal processed by the corrected filter function.
  • the apparatus for processing an audio signal may detect that the speaker position changes in real time, and may process the audio signal using a filter function corrected according to the changed speaker position. If the filter function can be represented as a set of impulse response functions, correcting the filter function according to the changed speaker position can be performed with a relatively smaller amount of computation than other methods for compensating for the changed speaker position.
  • the audio signal filtered by the corrected filter function may be output through a plurality of speakers.
  • the audio signal may be processed based on the case where the audio signal is output through the two speakers.
  • the present invention is not limited to the above example, and even when an audio signal is output through two or more speakers, the audio signal may be processed by selecting two speakers to be output for each object of the audio signal according to an exemplary embodiment.
  • the audio signal of the audio object is output through two speakers that are closest to the left and right directions based on the position where the sound image of the audio object is located, according to the above-described embodiment. Audio signals can be processed.
  • the audio signal can be processed in the same manner as described above.
  • the device may determine the above-described delay time and gain values based on the distance information between the listener and each speaker, and correct the filter function according to the determined delay time and gain values.
  • an HRTF filter corresponding to the height of each speaker may be used.
  • FIG. 4 is a flowchart illustrating a method of processing an audio signal according to an exemplary embodiment.
  • an apparatus for processing an audio signal may acquire a filter function for an audio signal determined according to a predefined position of each speaker.
  • the predefined positions 150 and 160 of each speaker may be determined to be symmetrical with respect to the listener position 170.
  • the filter function determined according to the pre-determined positions 150 and 160 may be a value predetermined by the producer who generated the audio signal and stored in the memory of the device or may be received from the outside.
  • the apparatus for processing the audio signal may acquire location information about the plurality of speakers to which the audio signal is output.
  • the device may obtain location information of a plurality of speakers to which an audio signal is output, which is present at a location different from a predefined location.
  • the device may acquire location information of the speaker as detecting the change of the location of at least one speaker of the plurality of speakers.
  • the device may periodically detect the location of the speaker by acquiring the location information of the at least one speaker and comparing the location information with the location information of the speaker at a previous time.
  • the apparatus for processing the audio signal may correct the filter function obtained in operation S410, based on the location information of the speaker acquired in operation S420.
  • the apparatus may determine at least one parameter for correcting the filter function based on the location information of the speaker, and correct the filter function using the parameter.
  • the device may process the audio signal using the corrected filter function and output the processed audio signal to the speaker.
  • the filter is a component that performs filtering to improve the sound quality or output state of the audio signal
  • the filter function means a function that can be applied to the audio signal by the filter.
  • FIG. 5 is an exemplary diagram illustrating an example of a filter function in which a frequency response characteristic is flattened according to an exemplary embodiment.
  • the filter function for raising the altitude of the audio signal may exhibit notch characteristics. As the filter function including the notch characteristic is applied to the audio signal, a sense of altitude of the audio signal may be recognized. However, when a filter for raising the altitude sense, for example, a head related transfer function (HRTF) filter, is used, distortion of sound quality may occur instead of increasing the altitude sense of the audio signal. For example, when an HRTF filter such as 530 of FIG. 5 is applied to an audio signal, distortion may occur in sound quality.
  • HRTF head related transfer function
  • the device can output an audio signal with better sound quality by processing the audio signal using a modified filter function so that the frequency response characteristic of the filter that can be applied to the audio signal of a predetermined band is flat.
  • the frequency response characteristic means the characteristic of the output signal which appears for each frequency band of the input signal. Referring to 530, with respect to the input signal in the mid-low frequency range (0 to 4 kHz), the output signal exhibits a decibel (dB) decrease. When the audio signal is processed according to the filter function of 530, an audio signal of distorted sound quality may be output. In addition, referring to 510 or 520, the output signal exhibits a flat characteristic with respect to the input signal of the mid to low frequencies.
  • the device may process the audio signal using a modified filter function such that the frequency response characteristic is flat, such as 510 or 520.
  • the above-mentioned predetermined band can be determined as the mid-low range (0 to 4, 5 kHz) in which the voice signal can be included.
  • a filter function having a flattened frequency response characteristic that may be applied to an audio signal of various frequencies may be applied to the audio signal.
  • the apparatus In order to position the sound image of the voice signal at a predetermined altitude, the apparatus applies a filter function for raising the altitude feeling such as HRTF to the audio signal to have a higher altitude feeling, and then the frequency response characteristic of the critical band is smoothed.
  • An audio signal may be processed using a filter function such as. Since the sense of altitude of the voice signal is lowered according to the degree that the frequency response characteristic is flattened, the device can improve the sound quality of the voice signal while positioning the sound image at a predetermined altitude.
  • FIG. 6 is an exemplary diagram for describing a filter function for preventing a loss due to a phase difference, according to an exemplary embodiment.
  • the filter functions 610 and 620 may be used to give a sense of altitude of an audio signal.
  • the filter functions 610 and 620 may include various types of functions for improving the sound quality or the output state of the audio signal.
  • the device may process the audio signal by using a filter function that can prevent the loss of the audio signal due to destructive interference that may occur due to the phase difference.
  • the apparatus may correct a filter that may be applied to the audio signal to prevent a loss of a predetermined band, for example, a low frequency audio signal, as the phase difference is generated with respect to the audio signal output through the plurality of speakers. . Since the high frequency signal is relatively less likely to cause destructive interference due to the phase difference than the low frequency signal, the filter value applicable to the low frequency audio signal may be corrected.
  • the acoustic signal may be lost due to the phase difference between the filter functions 610 and 620 that may be applied to the acoustic signal output to each speaker.
  • loss of the acoustic signals may occur due to the phase difference of the filter function applicable to the acoustic signals.
  • the apparatus may determine whether a loss of the audio signal occurs by periodically determining whether a loss of the audio signal due to the cancellation interference occurs.
  • the apparatus can prevent the loss of the acoustic signal due to the phase difference of the filter functions by changing the sign of one filter function or reducing the absolute magnitude within a predetermined interval.
  • a filter other than the HRTF filter for example, a decorrelator
  • sound quality of the audio signal may be improved. The method will be described in detail.
  • the audio signal which is a mono signal
  • the audio signal may be converted into a stereo signal, and as each converted stereo signal is panned and output in the horizontal / vertical direction, a predetermined sense of altitude is added to the audio signal.
  • the decorrelator filter may be used as a filter for imparting a sense of altitude of the audio signal instead of the HRTF filter.
  • FIG. 7 is a diagram illustrating an example of applying a notch filter to an audio signal according to an embodiment.
  • a non-HRTF filter 730 for example, a decorrelator filter
  • M (t) is a stereo signal L ( t) and R (t).
  • the device may apply a notch filter 740 to the stereo signal that includes a notch characteristic, which is an HRTF filter characteristic, to add a sense of altitude to the stereo signal.
  • a notch filter 740 to the stereo signal that includes a notch characteristic, which is an HRTF filter characteristic, to add a sense of altitude to the stereo signal.
  • the notch filter 740 may be applied to an audio signal of a high frequency (for example, 5 kHz or more).
  • the notch filter 740 may determine the filter function to be applied to the stereo signal by referring to the notch characteristic of the HRTF filter function corresponding to the predetermined horizontal angle and the elevation angle, as shown at 710.
  • the horizontal angle is an angle that can be observed on the horizontal plane, and means a direction angle and an azimuth angle.
  • the predetermined elevation angle may be determined as an elevation angle to be applied to the audio signal. Referring to 710, in the case of a 30 degree elevation angle, the notch characteristics 711 and 712 of the HRTF filter appear in the 8.7 and 8.8 kHz bands, so that the notch filter 740 is a filter function applied to the L (t) signal.
  • the filter function applied to the 8.7 kHz, R (t) signal can determine each filter function to be applied to L (t) and R (t) to have a notch characteristic at 8.8 kHz.
  • the audio signal processed by the notch filter 740 may be output to have a 30 degree elevation angle.
  • FIG. 8 is an exemplary diagram illustrating an example of applying a decorrelator filter to an audio signal according to an embodiment.
  • the decorrelator filter 820 may be repeatedly applied to an audio signal, and as the decorrelator filter is repeatedly applied to the audio signal, the decorrelability between stereo signals may increase. For example, as the uncorrelation of stereo signals increases, each stereo signal may comprise each nearly different acoustic signal.
  • the decorrelator filter 820 may determine decorrelation between stereo signals based on an environment in which the audio signal is output, characteristic information of the audio signal, or preset information.
  • the decorrelator filter 820 may be repeatedly applied to the audio signal according to the decorrelability.
  • the decorrelator filter 820 can be applied to a mono signal, so that in mono signal extraction 810, the stereo signal can be separated into a mono signal C and a non-mono signal L amb , R amb .
  • the decorrelator filter 820 by applying the decorrelator filter 820 to the mono signal, stereo signals C L and C R may be generated.
  • the mono signal extraction 830 may extract the mono signal C N from the stereo signals C L and C R.
  • Whether the decorrelator filter 820 is repeatedly applied may be determined according to the energy ratio of the mono signal C and the mono signal C N , which may be obtained by the energy ratio calculation 840.
  • relaxation emergency filter 820 may be applied once more with respect to the monaural signal C N.
  • the decorrelator filter 820 is no longer applied and the final stereo signals L out and R out are Can be output.
  • the final stereo signal may be determined by adding the sum of the stereo signals separated in the mono signal extraction 810 and 830 and the final mono signal C N added to each stereo signal.
  • FIG. 9 is an exemplary diagram illustrating an example of a method of processing a stereo signal according to an exemplary embodiment.
  • the mono signal extraction 910 and the adaptive sound quality improvement filter 920 illustrated in FIG. 9 may be included in the audio signal processor 360 of FIG. 3.
  • C which is a mono signal from the stereo signals L in and R in
  • the filter function can be applied by the adaptive sound quality improvement filter 920.
  • the adaptive sound quality improvement filter 920 may include, for example, the decorrelator filter 820 described above.
  • the adaptive sound quality improvement filter 920 may apply the corrected filter functions H ' L and H' R to the stereo signal divided by the decorrelator filter 820.
  • the stereo signal output from the adaptive sound quality improvement filter 920 may be output by being combined with L amb and R amb , which are residual signals other than the mono signal C extracted by the mono signal extraction 910.
  • FIG. 10 is a block diagram illustrating an internal structure of an apparatus for processing an audio signal according to an exemplary embodiment.
  • the apparatus 1000 for processing an audio signal may be a terminal device that can be used by a user.
  • the apparatus 1000 for processing an audio signal may include a smart television (television), an ultra high definition (UHD) TV, a monitor, a personal computer (PC), a notebook computer, a mobile phone, a tablet PC, and a navigation device.
  • navigation terminal smart phone, personal digital assistants (PDA), portable multimedia player (PMP), and digital broadcast receiver.
  • the apparatus 1000 may include various types of apparatuses.
  • the apparatus 1000 for processing an audio signal may include a receiver 1010, a controller 1020, and an output unit 1030.
  • the receiver 1010 may obtain information about an audio signal and positions of a plurality of speakers to which the audio signal is output.
  • the receiver 1010 may periodically acquire speaker location information.
  • the speaker location information may be obtained from a sensor for detecting the location of the speaker provided in each speaker or from an external device for detecting the location of each speaker.
  • the receiver 1010 may acquire speaker position information in various ways.
  • the controller 1020 may obtain a filter function for the audio signal determined according to a predefined position, and correct the filter function based on the speaker position information obtained by the receiver 1010. The controller 1020 may correct the filter function whenever the location information of the speaker is changed.
  • the output unit 1030 may output the audio signal processed by the controller 1020.
  • the output unit 1030 may output an audio signal to the plurality of speakers.
  • a high-quality audio signal may be provided to a listener by processing an audio signal according to location information of a plurality of speakers existing at an arbitrary location.
  • the method according to some embodiments may be embodied in the form of program instructions that may be executed by various computer means and recorded on a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Stereophonic System (AREA)

Abstract

각 스피커의 미리 정의된 위치에 따라 결정된 오디오 신호에 대한 필터 함수를 획득하고, 오디오 신호가 출력될 복수 개의 스피커에 대한 위치 정보를 획득하고, 위치 정보에 기초하여, 획득된 필터 함수를 보정하고, 보정된 필터 함수를 이용하여, 오디오 신호를 처리하는, 오디오 신호를 처리하는 방법이 개시된다.

Description

스피커 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치
본 발명은 오디오 신호가 출력되는 스피커에 관한 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치에 대한 것이다.
5.1 채널, 2.1 채널 등 멀티 채널을 통해 오디오 신호가 출력될 수 있는 오디오 시스템이 제공되고 있다. 오디오 신호는 오디오 신호가 출력되는 각 스피커의 위치에 기초하여 처리되고, 출력될 수 있다.
그러나, 스피커가 설치되는 주변 환경이나 스피커의 이동성에 따라 스피커의 위치는 오디오 신호 처리 시 기준이 되는 위치와 다르거나 고정적이지 않을 수 있다. 따라서, 스피커의 위치가 변동되는 경우, 오디오 제공 시스템은 현재의 스피커의 위치와 다른 스피커의 위치를 기준으로 오디오 신호를 처리함에 따라, 청취자에게 고음질의 오디오 신호를 제공하지 못하는 문제점이 존재한다.
본 발명은 스피커의 정보에 따라 적응적으로 오디오 신호를 처리하기 위한 것으로, 오디오 신호가 출력되는 스피커의 위치 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치를 제공한다.
일 실시 예에 의하면, 임의의 위치에 존재하는 복수 개의 스피커의 위치 정보에 따라 오디오 신호를 처리함으로써, 고음질의 오디오 신호가 청취자에게 제공될 수 있다.
도 1은 일 실시 예에 의한 스테레오 채널 오디오 시스템의 일 예를 나타낸 예시 도면이다.
도 2는 일 실시 예에 의한 스피커의 현재 위치 정보를 획득하는 방법의 일 예를 나타낸 예시 도면이다.
도 3은 일 실시 예에 의한 스피커의 위치 정보에 따라 필터 함수를 보정하는 장치의 내부 구조를 나타낸 블록도이다.
도 4는 일 실시 예에 의한 오디오 신호를 처리하는 방법을 나타낸 순서도이다.
도 5는 일 실시 예에 의한 주파수 응답 특성이 평탄하게 된필터 함수의 일 예를 나타낸 예시 도면이다.
도 6은 일 실시 예에 의한 위상 차이로 인한 손실을 방지하기 위한 필터 함수를 설명하기 위한 예시 도면이다.
도 7은 일 실시 예에 의한 오디오 신호에 노치 필터를 적용하는 일 예를 나타낸 예시 도면이다.
도 8은 일 실시 예에 의한 오디오 신호에 비상관기 필터를 적용하는 일 예를 나타낸 예시 도면이다.
도 9는 일 실시 에에 의한 스테레오 신호를 처리하는 방법의 일 예를 나타낸 예시 도면이다.
도 10은 일 실시 예에 의한 오디오 신호를 처리하는 장치의 내부 구조를 나타낸 블록도이다.
일 실시 예에 있어서, 오디오 신호를 처리하는 방법에 있어서, 각 스피커의 미리 정의된 위치에 따라 결정된 상기 오디오 신호에 대한 필터 함수를 획득하는 단계; 상기 오디오 신호가 출력될 복수 개의 스피커에 대한 위치 정보를 획득하는 단계; 상기 위치 정보에 기초하여, 상기 획득된 필터 함수를 보정하는 단계; 상기 보정된 필터 함수를 이용하여, 상기 오디오 신호를 처리하는 단계를 포함한다.
멀티 미디어 기기의 소정 위치로 상기 오디오 신호의 음상이 정위되도록 상기 처리된 오디오 신호를 출력하는 단계를 더 포함한다.
상기 적어도 하나의 스피커의 위치 정보가 변경됨을 감지하는 단계; 상기 감지된 스피커의 위치 정보에 기초하여, 상기 획득된 필터 함수를 보정하는 단계; 상기 보정된 필터 함수를 이용하여, 상기 오디오 신호를 처리하는 단계를 더 포함한다.
상기 위치 정보는 상기 각 스피커의 위치와 청취 위치 간 거리 및 각도 중 적어도 하나를 포함한다.
상기 보정하는 단계는 상기 위치 정보에 기초하여, 파라미터를 결정하는 단계; 상기 결정된 파라미터를 이용하여, 상기 필터 함수를 보정하는 단계를 포함한다.
상기 파라미터는 상기 스피커의 위치 정보에 기초하여, 상기 오디오 신호의 음상의 방향을 보정하기 위한 패닝 게인, 상기 스피커의 위치 정보에 기초하여, 상기 오디오 신호의 음상의 음향 레벨을 보정하기 위한 게인, 및 상기 스피커의 위치 정보에 기초하여, 상기 오디오 신호의 음상의 위상 차이를 보정하기 위한 딜레이 시간 중 적어도 하나를 포함한다.
상기 필터 함수는 소정의 주파수 대역에서 주파수 응답 특성이 평탄하게 된, 상기 오디오 신호에 고도감을 부여하기 위한 필터 함수 또는 상기 고도감을 가진 오디오 신호의 특성인 상기 노치 특성을 상기 오디오 신호에 부여하기 위한 필터 함수를 포함한다.
일 실시 예에 의한 오디오 신호를 처리하는 장치에 있어서, 상기 오디오 신호 및 상기 오디오 신호가 출력될 복수 개의 스피커의 위치에 관한 정보를 획득하는 수신부; 각 스피커의 미리 정의된 위치에 따라 결정된 상기 오디오 신호에 대한 필터 함수를 획득하고, 상기 위치 정보에 기초하여, 상기 획득된 필터 함수를 보정하고, 상기 보정된 필터 함수를 이용하여, 상기 오디오 신호를 처리하는 제어부; 상기 처리된 오디오 신호를 상기 복수 개의 스피커로 출력하는 출력부를 포함한다.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되지 않는다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
또한, 본 명세서에서, 오디오 오브젝트는 오디오 신호에 포함된 음향 성분들 각각을 지칭한다. 하나의 오디오 신호에는 다양한 오디오 오브젝트가 포함될 수 있다. 예를 들어, 오케스트라의 공연 실황을 녹음하여 생성된 오디오 신호에는 기타, 바이올린, 오보에 등의 다수개의 악기로부터 발생한 다수개의 오디오 오브젝트가 포함된다.
또한, 본 명세서에서, 음상은 청취자가 음원이 발생하는 곳으로 느껴지는 위치를 의미한다. 실제 소리는 스피커에서 출력되지만 각각의 음원이 가상으로 맺히는 지점을 음상이라 한다. 음향이 출력되는 스피커에 따라 음상의 크기 및 위치가 달라질 수 있다. 각 음원의 소리의 위치가 뚜렷하고, 청취자에게 각 음원의 소리가 따로 잘 들릴 때, 음상 정위가 뛰어나다고 판단될 수 있다. 오디오 오브젝트 별로 청취자에 의해 오디오 오브젝트의 음원이 발생하는 곳으로 느껴질 수 있는 음상이 존재할 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
도 1은 일 실시 예에 의한 스테레오 채널 오디오 시스템의 일 예를 나타낸 예시 도면이다.
도 1을 참조하면, 스테레오 채널을 통해 오디오 신호를 출력하는 스피커(130, 140)는 각각 임의의 위치에 존재할 수 있다. 스피커(130, 140)는 오디오 신호를 처리하는 장치에 의해 처리된 오디오 신호를 출력할 수 있다. 스피커(130, 140)가 무선 스피커와 같이 이동성이 좋은 장치인 경우, 스피커(130, 140)의 위치는 실시간으로 변경될 수 있다. 일 실시 예에 의한, 오디오 신호를 처리하는 장치는 스피커(130, 140)의 위치 변화를 감지하고, 변경된 위치 정보에 기초하여 오디오 신호를 처리할 수 있다. 오디오 신호를 처리하는 장치는 스피커(130, 140)의 위치 변화에 따라 적응적으로(adaptively) 결정된 필터 함수를 이용하여 오디오 신호를 처리할 수 있다.
오디오 신호를 처리하는 장치는, 오디오 신호의 음상(120) 및 각 스피커의 미리 정의된 위치(150, 160)에 따라 결정된 필터 함수를 획득할 수 있다. 미리 정의된 위치(150, 160)는 필터 함수를 획득하기 위한 값이고, 실제 현재의 스피커의 위치와는 차이가 존재할 수 있다. 장치는, 필터 함수를 이용하여 오디오 신호의 음질을 개선시킬 수 있다. 필터 함수에 따라 처리된 오디오 신호는 미리 정위된 위치(150, 160)의 스피커를 통해 최적의 상태로 출력될 수 있다. 필터 함수는 오디오 신호의 채널별로 존재할 수 있다. 예를 들면, 오디오 신호가 좌우 스피커를 통해 출력되는 경우, 필터 함수는 각각 좌우 스피커를 통해 출력될 수 있는 오디오 신호에 대하여 존재할 수 있다. 오디오 신호는 오디오 오브젝트 별로 필터 함수에 의해 처리되어 출력될 수 있다. 필터 함수는 각 스피커의 현재 위치 정보(130, 140)에 따라 보정될 수 있다.
예를 들면, 각 스피커의 미리 정의된 위치(150, 160)는 청취자 위치(170)를 기준으로 대칭될 수 있는 위치로 결정될 수 있다. 청취자 정면에 스피커가 대칭되게 위치하도록, 각 스피커의 미리 정의된 위치(150, 160)가 결정될 수 있다. 따라서, 각 스피커의 위치와 청취자 위치(170) 간의 거리가 동일할 수 있다. 스피커의 현재 위치(130, 140) 정보는 청취자 위치(170)를 기준으로 결정될 수 있는 위치 정보일 수 있다. 스피커의 현재 위치(130, 140) 정보가 청취자 위치(170)를 기준으로 하는 상대적인 위치 정보일 수 있고, 이에 따라, 청취자 위치(170)는 임의로 정해질 수 있다. 상술된 실시예에 한하지 않고, 각 스피커의 미리 정의된 위치(150, 160)는 다른 위치로 결정될 수도 있다.
미리 정위된 위치(150, 160)에 따라 결정된 필터 함수는, 제작자 또는 사용자에 의해 미리 정해진 값으로 장치의 메모리에 저장되어 있는 값으로부터 결정될 수 있다. 또한, 미리 정위된 위치(150, 160)에 따라 결정된 필터 함수는, 외부로부터 수신되거나 장치에 의해 계산된 값일 수 있다. 이에 한하지 않고, 미리 정위된 위치(150, 160)에 따라 결정된 필터 함수는 다양한 방법으로 획득될 수 있는 값이다.
오디오 신호의 음상(120)은 오디오 오브젝트 별로 서로 다른 위치에 정위될 수 있다. 예를 들면, 음상(210)은 오디오 신호와 대응되는 영상 신호가 디스플레이되는 디스플레이 장치(110) 상에 정위될 수 있다. 오디오 오브젝트 별로 음상(120)이 존재할 수 있으며, 각 음상(120)에 대한 오디오 신호에 대해 음질 개선을 위한 필터 함수가 적용될 수 있다. 채널 별로 서로 다른 필터 함수가 오디오 신호에 대해 적용될 수 있다. 필터 함수는 스피커의 위치 정보에 따라 보정될 수 있는 점에서, 음상(120)이 정위된 위치의 고려 없이 보정될 수 있다.
오디오 신호를 처리하는 장치는, 필터 함수를 보정하기 위한 파라미터를 결정하기 위하여, 스피커의 위치(130, 140) 정보를 획득할 수 있다. 스피커의 위치(130, 140) 정보는 실시간으로 획득되거나, 장치에 의해 하나 이상의 스피커의 위치 이동이 감지됨에 따라 변경된 위치 정보가 획득될 수 있다. 장치는 스피커의 위치가 변경될 때 마다, 필터 함수를 보정하고, 보정된 필터 함수로 오디오 신호를 처리하여 출력할 수 있다.
스피커의 위치(130, 140) 정보는 청취자(170) 위치를 원점으로 하는 좌표 값, 또는 청취자(170) 위치를 기준으로 하는 스피커의 거리 정보 및 각도 정보를 포함할 수 있다. 예를 들면, 스피커의 위치(130, 140) 정보는 청취자의 위치(170)를 기준으로, 각 스피커와의 거리 정보 및, 청취자(170)의 방향과 각 스피커가 이루는 각도 정보를 포함할 수 있다. 스피커의 위치(130, 140) 정보가 좌표 값인 경우, 좌표 값은 청취자의 위치(170)를 기준으로 상술된 거리 정보 및 각도 정보로 환산될 수 있다. 예를 들면, 스피커의 좌표 값이 (x, y)인 경우, 스피커의 위치 정보는, θ=π/2-tan-1(y/x), r=y/cosθ의 각도 및 거리 값으로 변환될 수 있다.
오디오 신호를 처리하는 장치는, 스피커의 위치(130, 140) 정보에 기초하여, 필터 함수를 보정하기 위한 파라미터들을 구하고, 파라미터를 이용하여 필터 함수를 보정할 수 있다. 필터 함수를 보정하기 위한 파라미터에 관하여는, 이하 도 3을 참조하여 더 자세히 설명하기로 한다.
일 실시 예에 의한 오디오 신호를 처리하는 장치는, 오디오 신호와 대응되는 영상 신호를 처리하는 디스플레이 장치(110) 내부에 존재하거나 디스플레이 장치(110)일 수 있다. 상술된 예에 한하지 않고, 오디오 신호를 처리하는 장치는 오디오 신호를 출력하는 스피커와 유무선으로 연결된 다양한 형태의 장치일 수 있다.
이하 도 2를 참조하여, 스피커의 위치 정보를 획득하는 방법에 대하여 더 자세히 설명하기로 한다.
도 2는 일 실시 예에 의한 스피커의 현재 위치 정보를 획득하는 방법의 일 예를 나타낸 예시 도면이다. 도 2에 도시된 스피커의 현재 위치 정보를 획득하는 방법에 따르면, 청취자의 위치는 청취자가 가진 휴대 장치, 예를 들면, 스마트폰의 위치를 기준으로 결정될 수 있다. 이에 한하지 않고 청취자의 위치는 다양한 형태의 단말 장치, 예를 들면, 웨어러블 디바이스, PDA 단말 등을 기준으로 결정될 수 있다.
도 2의 210을 참조하면, 청취자가 가진 휴대 장치 중앙의 위치(214)를 기준으로, 스피커(211)의 위치 정보가 획득될 수 있다. 스피커(211)를 통해 음향이 출력되었을 때, 출력된 음향은 각각 다른 경로를 통해 휴대 장치의 마이크(212, 213)로 입력될 수 있다. 따라서, 각각의 마이크(212, 213)로 입력된 음향의 이동 시간인, T2-T1 및 T3-T1에 기초하여, 각 경로의 길이가 결정될 수 있다. 소리의 속도가 340m/s인 것으로 가정하면, 각 경로의 길이는 340*(이동시간)으로 결정될 수 있다. 그리고, 각 경로의 길이 및 두 마이크(212, 213) 사이의 길이에 기초하여, 청취자 위치(214)와 스피커(211)간 거리 정보 및 각도 정보가 결정될 수 있다.
도 2의 220을 참조하면, 청취자가 가진 휴대 장치(225)의 스피커 위치(224)를 기준으로, 스피커(221)의 위치 정보가 획득될 수 있다. 스피커의 위치 정보를 획득하기 위하여, 휴대 장치(225)는 스피커(224)를 더 구비할 수 있고, 스피커(221)는 마이크(222, 223)를 더 구비할 수 있다. 휴대 장치(225)의 스피커(224)로부터 음향이 출력되었을 때, 출력된 음향은 각각 다른 경로를 통해 스피커의 마이크(222, 223)로 입력될 수 있다. 따라서, 각각의 마이크(222, 223)로 입력된 음향의 마이크(222, 223) 및 스피커(224) 간 이동 시간인, T2-T1 및 T3-T1에 기초하여, 각 경로의 길이는 340*(이동시간)으로 결정될 수 있다. 그리고, 각 경로의 길이 및 두 마이크(222, 223) 사이의 길이에 기초하여, 청취자 위치(224)와 스피커(221)간 거리 정보 및 각도 정보가 획득될 수 있다.
도 2에 도시된 스피커의 위치 정보를 획득하는 방법은 예시에 불과하고, 스피커의 위치 정보는 다양한 방법으로 획득될 수 있다.
이하 도 3을 참조하여, 스피커 위치 정보에 따라서, 필터 함수를 보정하기 위한 파라미터를 결정하고, 파라미터에 따라 필터 함수를 보정하는 방법에 대하여 더 자세히 설명하기로 한다.
도 3은 일 실시 예에 의한 스피커의 위치 정보에 따라 필터 함수를 보정하는 장치의 내부 구조를 나타낸 블록도이다.
도 3을 참조하면, 일 실시 예에 의한 오디오 신호를 처리하는 장치(300)는 패닝 게인 결정부(310), 게인 결정부(320), 딜레이 결정부(330), 필터 함수 획득부(340), 필터 함수 보정부(350) 및 오디오 신호 처리부(360)를 포함할 수 있다.
패닝 게인 결정부(310), 게인 결정부(320) 및 딜레이 결정부(330)는, 스피커 위치 정보에 기초하여, 각각 서로 다른 파라미터를 결정할 수 있다.
패닝 게인 결정부(310)는 각 스피커에 의해 출력되는 오디오 신호의 방향을 보정하기 위한 패닝 게인을 결정할 수 있다. 스피커가 이동됨에 따라 스피커를 통해 출력되는 음향의 방향이 청취자를 중심으로 패닝이 되므로, 각 스피커를 통해 출력되는 패닝 정도에 기초하여 패닝 게인이 결정될 수 있다. 패닝 게인 결정부(310)는 스피커가 미리 정의된 위치(150)에서 청취자 위치(170)를 기준으로 패닝된 각도(θL, θR)에 따라 결정될 수 있는 패닝 게인을 결정할 수 있다. 패닝 게인은 각 스피커에 대하여 결정될 수 있다. 예를 들면, 패닝 게인은 이하 수학식 1과 같이 결정될 수 있다.
수학식 1
Figure PCTKR2016001725-appb-M000001
게인 결정부(320)는 각 스피커에 의해 출력되는 오디오 신호의 음향 크기를 보정하기 위한 게인을 결정할 수 있다. 스피커가 이동됨에 따라 스피커와 청취자 간의 거리가 변하게 되므로, 청취자 위치에서 스피커를 통해 출력되는 음향의 크기가 달라질 수 있다. 예를 들면, 다른 스피커에 비하여, 스피커와 청취자 간 거리가 짧아지면, 해당 스피커를 통해 출력되는 음향의 청취자 위치에서의 크기가 더 커지게 됨에 따라 음상이 이동될 수 있다. 반대의 경우, 스피커를 통해 출력되는 음향의 청취자 위치에서의 크기가 더 작아지게 됨에 따라 음상이 이동될 수 있다.
게인 결정부(320)는 청취자 위치(170)와 스피커 간 거리(rL, rR)에 따라 게인 값을 결정할 수 있다. 예를 들면, 게인은 이하 수학식 2와 같이 결정될 수 있다. 이하 수학식 2에 따라 결정될 수 있는 게인 값은 미리 정의된 위치(150)에서의 각 스피커와 청취자 간 거리가 서로 동일하다는 가정하에 결정될 수 있는 값이다. 게인 값은 수학식 2에 한하지 않고, 미리 정의된 위치(150)에서의 각 스피커와 청취자 간 거리에 따라서, 다양한 방법으로 결정될 수 있다.
수학식 2
Figure PCTKR2016001725-appb-M000002
딜레이 결정부(330)는 각 스피커에 의해 출력되는 오디오 신호의 위상 차이를 보정하기 위한 딜레이 시간을 결정할 수 있다. 적어도 하나의 스피커가 이동됨에 따라 각 스피커와 청취자 간의 거리가 달라지게 되므로, 청취자 위치에서 각 스피커를 통해 출력되는 음향의 위상 차이가 존재할 수 있다.
딜레이 결정부(330)는 청취자 위치(170)와 스피커 간 거리(rL, rR)에 따라 딜레이 시간을 결정할 수 있다. 예를 들면, 딜레이 시간은 이하 수학식 3 내지 4와 같이 각 스피커에서 청취자 위치까지 음향이 도달하는 시간 차이로 결정될 수 있다. 수학식 3 및 4의 340m/s는 음향의 속도를 의미하는 것으로, 음향이 전달되는 주변환경에 따라 서로 다른 딜레이 시간이 결정될 수 있다. 예를 들면, 음향이 전달되는 공기의 온도에 따라 음향 속도가 달라지므로, 공기 온도에 따라 서로 다른딜레이 시간이 결정될 수 있다.
rL 이 rR 보다 작은 경우, 수학식 3에 따라 딜레이 시간이 결정될 수 있다. 반면, rL 이 rR 보다 큰 경우, 수학식 4에 따라 딜레이 시간이 결정될 수 있다. 이하 수학식 3 내지 4에 따라 결정될 수 있는 딜레이 시간은 미리 정의된 위치(150, 160)에서의 각 스피커와 청취자 간 거리가 서로 동일하다는 가정하에 결정될 수 있는 값이다. 딜레이 시간은 수학식 3 내지 4에 한하지 않고, 미리 정의된 위치(150)에서의 각 스피커와 청취자 간 거리에 따라서, 다양한 방법으로 결정될 수 있다.
수학식 3
Figure PCTKR2016001725-appb-M000003
수학식 4
Figure PCTKR2016001725-appb-M000004
필터 함수 획득부(340)는 미리 정의된 각 스피커의 위치(150, 160)를 기준으로 스피커를 통해 출력되는 오디오 신호의 음질을 개선하기 위한 필터 함수를 획득할 수 있다. 미리 정의된 스피커의 위치(150, 160)는 청취자 위치의 정면에서 서로 대칭되는 위치로 결정될 수 있다.
필터 함수 보정부(350)는 결정된 적어도 하나의 파라미터에 기초하여 필터 함수 획득부(340)에 의해 획득된 필터 함수를 보정할 수 있다. 예를 들면, 이하 수학식 5 내지 6에 따라 필터 함수는 보정될 수 있다. 수학식 5 내지 6에서, HL 및 HR은 각 스피커를 통해 출력되는 음향 신호와 대응되는 필터 함수 값으로, 필터 함수 획득부(340)에 의해 획득된 값을 나타낸다. H'L 및 H'R은 필터 함수 보정부(350)에 의해 보정된 각 스피커와 대응되는 필터 함수 값을 나타낸다.
rL 이 rR 보다 작은 경우, 수학식 5에 따라 필터 함수가 보정될 수 있다. 반면, rL 이 rR 보다 큰 경우, 수학식 6에 따라 필터 함수가 보정될 수 있다. 청취자와의 거리가 짧을수록 위상이 더 앞서므로, 딜레이 시간으로 위상 차이가 보상될 수 있다. 필터 함수의 보정은 수학식 5 내지 6에 한하지 않고, 다양한 방법으로 결정될 수 있다.
수학식 5
Figure PCTKR2016001725-appb-M000005
수학식 6
Figure PCTKR2016001725-appb-M000006
오디오 신호 처리부(360)는 보정된 필터 함수를 이용하여, 오디오 신호를 처리하여 출력할 수 있다. 예를 들면, 이하 수학식 7과 같이, 오디오 신호 처리부(360)는 오디오 신호와 보정된 필터 함수에 대해 컨벌루션(convolution) 연산을 수행함으로써 오디오 신호를 처리할 수 있다. 수학식 7에서, L(t), R(t) 는 처리되기 전 오디오 신호를 나타내고, H'L(t)및 H'R(t)는 보정된 필터 함수를 나타낸다. L'(t), R'(t) 는 보정된 필터 함수에 의해 처리된 오디오 신호를 나타낸다.
수학식 7
Figure PCTKR2016001725-appb-M000007
일 실시 예에 의한 오디오 신호를 처리하는 장치는 실시간으로 스피커 위치가 변화됨을 감지하고, 변화된 스피커 위치에 따라 보정된 필터 함수를 이용하여 오디오 신호를 처리할 수 있다. 필터 함수가 임펄스 응답 함수의 집합으로 나타날 수 있는 경우, 변화된 스피커 위치에 따라 필터 함수를 보정하는 것은 변화된 스피커 위치를 보상하기 위한 다른 방법보다 상대적으로 적은 연산량으로 수행될 수 있다.
보정된 필터 함수에 의해 필터링된 오디오 신호는 복수 개의 스피커를 통해 출력될 수 있다. 상술된 실시예에서는 2개의 스피커를 통해 오디오 신호가 출력되는 경우를 기준으로 오디오 신호가 처리될 수 있다. 그러나, 상술된 예에 한하지 않고, 2개 이상의 스피커를 통해 오디오 신호가 출력되는 경우에도 일 실시 예에 따라 오디오 신호의 오브젝트 별로 출력될 2개의 스피커를 선택함으로써, 오디오 신호가 처리될 수 있다.
예를 들면, 수평 면상 복수 개의 스피커가 존재하는 경우, 오디오 오브젝트의 음상이 정위된 위치를 기준으로 좌우 방향으로 가장 가까운 2개의 스피커를 통해 오디오 오브젝트의 오디오 신호가 출력되도록, 상술된 실시예에 따라 오디오 신호가 처리될 수 있다.
또한, 각 스피커의 높이가 다른 경우, 각 스피커의 위치 정보에 기초하여, 상술한 방법과 동일한 방법으로 오디오 신호가 처리될 수 있다. 스피커의 높이가 달라지면, 청취자와 각 스피커 간 거리가 달라진다. 따라서, 장치는, 청취자와 각 스피커 간 거리 정보에 기초하여, 상술한 딜레이 시간 및 게인 값을 결정하고, 결정된 딜레이 시간 및 게인 값에 따라 필터 함수를 보정할 수 있다. 또한, HRTF 필터가 오디오 신호 처리에 이용되는 경우, 각 스피커의 높이와 대응되는 HRTF 필터가 이용될 수 있다.
이하 도 4를 참조하여, 일 실시 예에 따른 스피커의 위치 정보에 기초하여 오디오 신호를 처리하는 방법에 대해 더 자세히 설명하기로 한다.
도 4는 일 실시 예에 의한 오디오 신호를 처리하는 방법을 나타낸 순서도이다.
도 4를 참조하면, 단계 S410에서, 오디오 신호를 처리하는 장치는 각 스피커의 미리 정의된 위치에 따라 결정된 오디오 신호에 대한 필터 함수를 획득할 수 있다. 예를 들면, 각 스피커의 미리 정의된 위치(150, 160)는 청취자 위치(170)를 기준으로 대칭될 수 있는 위치로 결정될 수 있다. 미리 정위된 위치(150, 160)에 따라 결정된 필터 함수는, 오디오 신호를 생성한 제작자에 의해 미리 정해진 값으로써 장치의 메모리에 저장되어 있거나, 외부로부터 수신될 수 있는 값일 수 있다.
단계 S420에서, 오디오 신호를 처리하는 장치는 오디오 신호가 출력될 복수 개의 스피커에 대한 위치 정보를 획득할 수 있다. 예를 들면, 장치는 미리 정의된 위치와 다른 위치에 존재하는, 오디오 신호가 출력될 복수 개의 스피커의 위치 정보를 획득할 수 있다.
장치는 복수 개의 스피커 중 적어도 하나의 스피커의 위치가 변경됨을 감지함에 따라 스피커의 위치 정보를 획득할 수 있다. 장치는 주기적으로 적어도 하나의 스피커의 위치 정보를 획득하여, 이전 시점에서의 스피커의 위치 정보와 비교함으로써, 스피커의 위치가 변경됨을 감지할 수 있다.
단계 S430에서, 오디오 신호를 처리하는 장치는 단계 S420에서 획득한 스피커의 위치 정보에 기초하여, 단계 S410에서 획득한 필터 함수를 보정할 수 있다. 장치는, 스피커의 위치 정보에 기초하여, 필터 함수를 보정하기 위한 적어도 하나의 파라미터를 결정하고, 파라미터를 이용하여 필터 함수를 보정할 수 있다. 또한, 장치는 보정된 필터 함수를 이용하여 오디오 신호를 처리하고, 처리된 오디오 신호를 스피커로 출력할 수 있다.
이하 도 5 내지 도 9를 참조하여, 오디오 신호를 처리하기 위한 필터의 일 예에 대하여 더 자세히 설명하기로 한다.
도 5 내지 도 8을 참조하여, 필터 함수 획득부(340)에서 오디오 신호의 고도를 높이기 위한 필터를 획득하는 방법의 일 예에 대하여 설명하기로 한다. 일 실시 예에 있어서, 필터는 오디오 신호의 음질 또는 출력 상태를 개선하기 위한 필터링을 수행하는 구성요소이며, 필터 함수는 필터에 의해 오디오 신호에 적용될 수 있는 함수를 의미한다.
도 5는 일 실시 예에 의한 주파수 응답 특성이 평탄하게 된 필터 함수의 일 예를 나타낸 예시 도면이다.
오디오 신호의 고도감을 상승시키는 필터 함수는, 노치(notch) 특성이 나타날 수 있다. 노치 특성을 포함하는 필터 함수가 오디오 신호에 적용됨에 따라 오디오 신호의 고도감이 인지될 수 있다. 다만, 고도감을 상승시키는 필터, 예를 들면, HRTF(head Related Transfer Function) 필터가 이용되는 경우, 오디오 신호의 고도감이 상승되는 대신 음질에 왜곡이 발생되는 단점이 발생할 수 있다. 예를 들면, 도 5의 530과 같은 HRTF 필터가 오디오 신호에 적용되는 경우, 음질에 왜곡이 발생될 수 있다.
따라서, 장치는 소정 대역대의 오디오 신호에 적용될 수 있는 필터의 주파수 응답 특성이 평탄하게 되도록 수정된 필터 함수를 이용하여 오디오 신호를 처리함으로써 음질이 보다 개선된 오디오 신호를 출력할 수 있다. 주파수 응답 특성이란, 입력 신호의 주파수 대역별로 나타나는 출력 신호의 특성을 의미한다. 530을 참조하면, 중저역대(0~4kHz)의 입력 신호에 대하여, 출력 신호는 데시벨(dB; decibel)이 감소되는 특성을 보인다. 530의 필터 함수에 따라 오디오 신호가 처리되는 경우, 왜곡된 음질의 오디오 신호가 출력될 수 있다. 또한, 510 또는 520을 참조하면, 출력 신호는 중저역대의 입력 신호에 대하여 평탄한 특성을 보인다. 장치는, 510 또는 520과 같이 주파수 응답 특성이 평탄하게 되도록 수정된 필터 함수를 이용하여 오디오 신호를 처리할 수 있다.
음성 신호의 경우, 청취자에 의해 인지 가능한 정도의 음질이 보장되어야 하므로, 상술된 소정 대역대는 음성 신호가 포함될 수 있는 중저역대(0~4, 5kHz)로 결정될 수 있다. 이에 한하지 않고, 다양한 주파수대의 오디오 신호에 적용될 수 있는 주파수 응답 특성이 평탄하게 된 필터 함수가 오디오 신호에 적용될 수 있다.
장치는 소정 고도에 음성 신호의 음상을 정위시키기 위하여, 보다 높은 고도감을 가지도록 HRTF 등의 고도감을 상승시키는 필터 함수를 오디오 신호에 적용한 후, 중요대역의 주파수 응답 특성이 평탄하게 된 도 5의 510과 같은 필터 함수를 이용하여 오디오 신호를 처리할 수 있다. 주파수 응답 특성이 평탄하도록 보정된 정도에 따라 음성 신호의 고도감이 낮아지게 되므로, 장치는 소정 고도에 음상을 정위시키면서, 음성 신호의 음질도 개선시킬 수 있다.
도 6은 일 실시 예에 의한 위상 차이로 인한 손실을 방지하기 위한 필터 함수를 설명하기 위한 예시 도면이다.
도 6을 참조하면, 필터 함수(610, 620)는 오디오 신호의 고도감을 부여하기 위해 이용될 수 있다. 이에 한하지 않고, 필터 함수(610, 620)는 오디오 신호의 음질 또는 출력 상태를 개선하기 위한 다양한 형태의 함수를 포함할 수 있다. 복수의 스피커를 통해 오디오 신호가 출력되는 경우, 장치는 위상 차이로 인해 발생될 수 있는 상쇄 간섭으로 인한 오디오 신호의 손실을 방지할 수 있는 필터 함수를 이용하여 오디오 신호를 처리할 수 있다. 장치는 복수의 스피커를 통해 출력되는 오디오 신호에 대하여 위상 차가 발생됨에 따라 소정 대역대, 예를 들면, 저역대의 오디오 신호가 손실되는 것을 방지하기 위해, 오디오 신호에 적용될 수 있는 필터를 보정할 수 있다. 고역대의 신호는 저역대의 신호에 비해 위상차이로 인한 상쇄 간섭이 발생될 가능성이 상대적으로 낮으므로, 저역대의 오디오 신호에 적용될 수 있는 필터 값이 보정될 수 있다.
도 6의 630을 참조하면, 각 스피커로 출력되는 음향 신호에 적용될 수 있는 필터 함수(610, 620)의 위상 차이로 인해 음향 신호가 손실될 수 있다. 각 스피커로 출력되는 음향 신호가 거의 동일한 경우, 음향 신호에 적용될 수 있는 필터 함수의 위상 차이로 인해 음향 신호의 손실이 발생될 수 있다. 장치는, 상쇄 간섭 발생으로 인한 오디오 신호의 손실이 발생하는지를 주기적으로 판단하여 오디오 신호의 손실이 발생하는 구간을 검출할 수 있다.
장치는, 소정 구간 내에서, 한쪽의 필터 함수의 부호를 바꾸거나, 절대 크기를 줄임으로써, 필터 함수의 위상 차이로 인한 음향 신호의 손실을 방지할 수 있다.
이하, 도 7 내지 도 8을 참조하여, 오디오 신호에 고도감을 부여하기 위한 필터로 HRTF 필터 이외의 것, 예를 들면, 비상관기(decorrelator)가 이용되는 경우, 오디오 신호의 음질을 개선할 수 있는 방법에 대해 자세히 설명하기로 한다.
오디오 신호에 비상관기 필터가 적용되는 경우, 모노 신호인 오디오 신호는 스테레오 신호로 변환될 수 있고, 변환된 각 스테레오 신호들이 수평/수직 방향으로 패닝되어 출력됨에 따라, 오디오 신호에 소정의 고도감이 부여될 수 있다. HRTF 필터 대신 오디오 신호의 고도감을 부여하기 위한 필터로 비상관기 필터가 이용될 수 있다.
도 7은 일 실시 예에 의한 오디오 신호에 노치 필터를 적용하는 일 예를 나타낸 예시 도면이다.
도 7을 참조하면, 모노 신호인 오디오 신호 M(t)에 고도감 부여를 위한 비 HRTF 필터(730), 예를 들면, 비상관기 필터가 적용되는 경우, M(t)는 스테레오 신호인 L(t) 및 R(t)로 변환될 수 있다.
이에 더하여, 장치는 스테레오 신호에 고도감을 더 부여해주기 위해 HRTF 필터 특성인 노치 특성을 포함하는 노치 필터(740)를 스테레오 신호에 적용할 수 있다.
고도감을 생성하여 주는 필터 함수의 노치 특성은 주로 5kHz 이상의 고역에서 발생할 수 있으므로, 고역대(예를 들면, 5kHz 이상)의 오디오 신호에 노치 필터(740)가 적용될 수 있다.
노치 필터(740)는 710에 도시된 바와 같이 소정의 수평각(horizontal angle) 및 고도각에 대응되는 HRTF 필터 함수에서 나타나는 노치 특성을 참조하여, 스테레오 신호에 적용될 필터 함수를 결정할 수 있다. 수평각은 수평면 상에서 관측될 수 있는 각도로, 방향각, 방위각 등을 의미한다. 소정의 고도각은 오디오 신호에 부여하고자 하는 고도각으로 결정될 수 있다. 710을 참조하면, 30도 고도각의 경우, HRTF 필터의 노치 특성(711, 712)이 8.7, 8.8kHz 대역대에서 나타나므로, 노치 필터(740)는, L(t) 신호에 적용되는 필터 함수는 8.7kHz, R(t) 신호에 적용되는 필터 함수는 8.8kHz 에서 노치 특성을 가지도록 L(t) 및 R(t)에 적용될 각 필터 함수를 결정할 수 있다. 노치 필터(740)에 의해 처리된 오디오 신호는 30도 고도각을 가지도록 출력될 수 있다.
도 8은 일 실시 예에 의한 오디오 신호에 비상관기 필터를 적용하는 일 예를 나타낸 예시 도면이다.
도 8을 참조하면, 비상관기 필터(820)는 오디오 신호에 대하여 반복적으로 적용될 수 있으며, 비상관기 필터가 반복적으로 오디오 신호에 적용됨에 따라 스테레오 신호 간 비상관도가 커질 수 있다. 예를 들면, 스테레오 신호의 비상관도가 커짐에 따라, 각 스테레오 신호는 각 거의 다른 음향 신호를 포함할 수 있다. 비상관기 필터(820)는 오디오 신호가 출력되는 환경, 오디오 신호의 특성 정보 또는 미리 설정된 정보에 기초하여 스테레오 신호 간 비상관도를 결정할 수 있다. 비상관도에 따라 오디오 신호에 대하여 반복적으로 비상관기 필터(820)가 적용될 수 있다.
비상관기 필터(820)는 모노 신호에 대해 적용될 수 있으므로, 모노 신호 추출(810)에서, 스테레오 신호는 모노 신호 C 및 비모노(non-mono) 신호 Lamb, Ramb로 분리될 수 있다. 그리고, 모노 신호에 대하여 비상관기 필터(820)가 적용됨으로써, 스테레오 신호 CL 및 CR 이 생성될 수 있다. 그리고, 모노 신호 추출(830)은 스테레오 신호 CL 및 CR 로부터 모노 신호 CN을 추출할 수 있다.
비상관기 필터(820)의 반복적인 적용 여부는 에너지 비율 계산(840)에 의해 획득될 수 있는, 모노 신호 C 및 모노 신호 CN의 에너지 비율에 따라 결정될 수 있다. 850에서, 모노 신호 CN 및 C의 에너지 비율(EC_N/EC)이 기준값 T보다 작은 경우, 비상관기 필터(820)는 모노 신호 CN에 대하여 한번 더 적용될 수 있다.
반면, 모노 신호 CN 및 C의 에너지 비율(EC_N/EC)이 기준값 T보다 크거나 같은 경우, 비상관기 필터(820)는 더 이상 적용되지 않고, 최종 스테레오 신호 Lout, Rout 신호가 출력될 수 있다. 최종 스테레오 신호는 모노 신호 추출(810, 830)에서 분리된 스테레오 신호의 합과, 최종 모노 신호 CN이 각 스테레오 신호에 더해짐으로써 결정될 수 있다.
도 9는 일 실시 에에 의한 스테레오 신호를 처리하는 방법의 일 예를 나타낸 예시 도면이다. 도 9에 도시된 모노 신호 추출(910) 및 적응적 음질 개선 필터(920)는 도 3의 오디오 신호 처리부(360)에 포함될 수 있다.
도 9를 참조하면, 오디오 신호 처리를 위해 이용될 필터 함수 중 모노 신호에 대하여 적용 가능한 필터 함수가 존재하는 경우, 모노 신호 추출(910)에 의해 스테레오 신호 Lin, Rin 로부터 모노 신호인 C가 추출될 수 있다. 그리고, 모노 신호 C에 대하여, 적응적 음질 개선 필터(920)에 의해 필터 함수가 적용될 수 있다.
적응적 음질 개선 필터(920)는 예를 들면, 상술된 비상관기 필터(820)를 포함할 수 있다. 적응적 음질 개선 필터(920)는 비상관기 필터(820)에 의해 분할된 스테레오 신호에 대하여, 보정된 필터 함수 H'L 및 H'R를 적용할 수 있다. 적응적 음질 개선 필터(920)로부터 출력된 스테레오 신호는 모노 신호 추출(910)에 의해 추출된 모노 신호 C 이외 잔여 신호인 Lamb 및 Ramb와 합해져서 출력될 수 있다.
이하 도 10을 참조하여, 오디오 신호를 처리하는 장치에 대해 자세히 설명하기로 한다.
도 10은 일 실시 예에 의한 오디오 신호를 처리하는 장치의 내부 구조를 나타낸 블록도이다.
일 실시 예에 의한 오디오 신호를 처리하는 장치(1000)는 사용자에 의해 이용될 수 있는 단말 장치일 수 있다. 예를 들면, 오디오 신호를 처리하는 장치(1000)는 스마트 TV(television), UHD(ultra high definition) TV, 모니터, PC(Personal Computer), 노트북 컴퓨터, 휴대폰(mobile phone), 태블릿 PC, 내비게이션(navigation) 단말기, 스마트폰(smart phone), PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 및 디지털방송 수신기를 포함할 수 있다. 상술된 예에 한하지 않고, 장치(1000)는 다양한 종류의 장치를 포함할 수 있다.
도 10을 참조하면, 오디오 신호를 처리하는 장치(1000)는 수신부(1010), 제어부(1020) 및 출력부(1030)를 포함할 수 있다.
수신부(1010)는 오디오 신호 및 오디오 신호가 출력될 복수 개의 스피커의 위치에 관한 정보를 획득할 수 있다. 수신부(1010)는 주기적으로 스피커 위치 정보를 획득할 수 있다. 예를 들면, 스피커 위치 정보는 각 스피커에 구비된 스피커의 위치를 감지하는 센서 또는 각 스피커의 위치를 감지하는 외부 장치로부터 획득될 수 있다. 상술된 예에 한하지 않고, 수신부(1010)는 다양한 방법으로 스피커 위치 정보를 획득할 수 있다.
제어부(1020)는 미리 정의된 위치에 따라 결정된 오디오 신호에 대한 필터 함수를 획득하고, 수신부(1010)에 의해 획득된 스피커 위치 정보에 기초하여, 필터 함수를 보정할 수 있다. 제어부(1020)는 스피커의 위치 정보가 변경될 때마다 필터 함수를 보정할 수 있다.
출력부(1030)는 제어부(1020)에 의해 처리된 오디오 신호를 출력할 수 있다. 출력부(1030)는 오디오 신호를 복수 개의 스피커로 출력할 수 있다.
일 실시 예에 의하면, 임의의 위치에 존재하는 복수 개의 스피커의 위치 정보에 따라 오디오 신호를 처리함으로써, 고음질의 오디오 신호가 청취자에게 제공될 수 있다.
일부 실시 예에 의한 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
비록 상기 설명이 다양한 실시예들에 적용되는 본 발명의 신규한 특징들에 초점을 맞추어 설명되었지만, 본 기술 분야에 숙달된 기술을 가진 사람은 본 발명의 범위를 벗어나지 않으면서도 상기 설명된 장치 및 방법의 형태 및 세부 사항에서 다양한 삭제, 대체, 및 변경이 가능함을 이해할 것이다. 따라서, 본 발명의 범위는 상기 설명에서보다는 첨부된 특허청구범위에 의해 정의된다. 특허청구범위의 균등 범위 안의 모든 변형은 본 발명의 범위에 포섭된다.

Claims (15)

  1. 오디오 신호를 처리하는 방법에 있어서,
    각 스피커의 미리 정의된 위치에 따라 결정된 상기 오디오 신호에 대한 필터 함수를 획득하는 단계;
    상기 오디오 신호가 출력될 복수 개의 스피커에 대한 위치 정보를 획득하는 단계;
    상기 위치 정보에 기초하여, 상기 획득된 필터 함수를 보정하는 단계;
    상기 보정된 필터 함수를 이용하여, 상기 오디오 신호를 처리하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    멀티 미디어 기기의 소정 위치로 상기 오디오 신호의 음상이 정위되도록 상기 처리된 오디오 신호를 출력하는 단계를 더 포함하는, 방법.
  3. 제1항에 있어서,
    상기 적어도 하나의 스피커의 위치 정보가 변경됨을 감지하는 단계;
    상기 감지된 스피커의 위치 정보에 기초하여, 상기 획득된 필터 함수를 보정하는 단계;
    상기 보정된 필터 함수를 이용하여, 상기 오디오 신호를 처리하는 단계를 더 포함하는, 방법.
  4. 제1항에 있어서, 상기 위치 정보는
    상기 각 스피커의 위치와 청취 위치 간 거리 및 각도 중 적어도 하나를 포함하는, 방법.
  5. 제1항에 있어서, 상기 보정하는 단계는
    상기 위치 정보에 기초하여, 파라미터를 결정하는 단계;
    상기 결정된 파라미터를 이용하여, 상기 필터 함수를 보정하는 단계를 포함하는, 방법.
  6. 제5항에 있어서, 상기 파라미터는
    상기 스피커의 위치 정보에 기초하여, 상기 오디오 신호의 음상의 방향을 보정하기 위한 패닝 게인,
    상기 스피커의 위치 정보에 기초하여, 상기 오디오 신호의 음상의 음향 레벨을 보정하기 위한 게인, 및
    상기 스피커의 위치 정보에 기초하여, 상기 오디오 신호의 음상의 위상 차이를 보정하기 위한 딜레이 시간 중 적어도 하나를 포함하는, 방법.
  7. 제1항에 있어서, 상기 필터 함수는
    소정의 주파수 대역에서 주파수 응답 특성이 평탄하게 된, 상기 오디오 신호에 고도감을 부여하기 위한 필터 함수 또는
    상기 고도감을 가진 오디오 신호의 특성인 노치 특성을 상기 오디오 신호에 부여하기 위한 필터 함수를 포함하는, 방법.
  8. 오디오 신호를 처리하는 장치에 있어서,
    상기 오디오 신호 및 상기 오디오 신호가 출력될 복수 개의 스피커의 위치에 관한 정보를 획득하는 수신부;
    각 스피커의 미리 정의된 위치에 따라 결정된 상기 오디오 신호에 대한 필터 함수를 획득하고, 상기 위치 정보에 기초하여, 상기 획득된 필터 함수를 보정하고, 상기 보정된 필터 함수를 이용하여, 상기 오디오 신호를 처리하는 제어부;
    상기 처리된 오디오 신호를 상기 복수 개의 스피커로 출력하는 출력부를 포함하는, 장치.
  9. 제8항에 있어서,
    상기 출력부는, 멀티 미디어 기기의 소정 위치로 상기 오디오 신호의 음상이 정위되도록 상기 처리된 오디오 신호를 출력하는, 장치.
  10. 제8항에 있어서, 상기 제어부는
    상기 적어도 하나의 스피커의 위치 정보가 변경됨을 감지하고, 상기 감지된 스피커의 위치 정보에 기초하여, 상기 획득된 필터 함수를 보정하고, 상기 보정된 필터 함수를 이용하여, 상기 오디오 신호를 처리하는, 장치.
  11. 제8항에 있어서, 상기 위치 정보는
    상기 각 스피커의 위치와 청취 위치 간 거리 및 각도 중 적어도 하나를 포함하는, 장치.
  12. 제8항에 있어서, 상기 제어부는
    상기 위치 정보에 기초하여, 파라미터를 결정하고, 상기 결정된 파라미터를 이용하여, 상기 필터 함수를 보정하는, 장치.
  13. 제12항에 있어서, 상기 파라미터는
    상기 스피커의 위치 정보에 기초하여, 상기 오디오 신호의 음상의 방향을 보정하기 위한 패닝 게인, 상기 스피커의 위치 정보에 기초하여, 상기 오디오 신호의 음상의 음향 레벨을 보정하기 위한 게인, 및 상기 스피커의 위치 정보에 기초하여, 상기 오디오 신호의 음상의 위상 차이를 보정하기 위한 딜레이 시간 중 적어도 하나를 포함하는, 장치.
  14. 제8항에 있어서, 상기 필터 함수는
    소정의 주파수 대역에서 주파수 응답 특성이 평탄하게 된, 상기 오디오 신호에 고도감을 부여하기 위한 필터 함수 또는
    상기 고도감을 가진 오디오 신호의 특성인 노치 특성을 상기 오디오 신호에 부여하기 위한 필터 함수를 포함하는, 장치.
  15. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
PCT/KR2016/001725 2015-04-13 2016-02-23 스피커 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치 WO2016167464A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/566,278 US20180122396A1 (en) 2015-04-13 2016-02-23 Method and apparatus for processing audio signals on basis of speaker information

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0052080 2015-04-13
KR1020150052080A KR20160122029A (ko) 2015-04-13 2015-04-13 스피커 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2016167464A1 true WO2016167464A1 (ko) 2016-10-20

Family

ID=57126886

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/001725 WO2016167464A1 (ko) 2015-04-13 2016-02-23 스피커 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치

Country Status (3)

Country Link
US (1) US20180122396A1 (ko)
KR (1) KR20160122029A (ko)
WO (1) WO2016167464A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112153525B (zh) * 2020-08-11 2022-09-16 广东声音科技有限公司 多扬声器全景音效的定位方法及***
US20240015459A1 (en) * 2022-07-07 2024-01-11 Harman International Industries, Incorporated Motion detection of speaker units

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0937398A (ja) * 1995-07-17 1997-02-07 Matsushita Electric Ind Co Ltd 適応音像再生装置
US20070061026A1 (en) * 2005-09-13 2007-03-15 Wen Wang Systems and methods for audio processing
KR100739798B1 (ko) * 2005-12-22 2007-07-13 삼성전자주식회사 청취 위치를 고려한 2채널 입체음향 재생 방법 및 장치
US20110059841A1 (en) * 2006-10-18 2011-03-10 John Stratton Photocatalytically Active Polysiloxane Coating Compositions
KR101086398B1 (ko) * 2003-12-24 2011-11-25 삼성전자주식회사 다수의 마이크로폰을 이용한 지향성 제어 가능 스피커시스템 및 그 방법

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3266020B2 (ja) * 1996-12-12 2002-03-18 ヤマハ株式会社 音像定位方法及び装置
WO2005025270A1 (ja) * 2003-09-08 2005-03-17 Matsushita Electric Industrial Co., Ltd. 音像制御装置の設計ツールおよび音像制御装置
KR100644617B1 (ko) * 2004-06-16 2006-11-10 삼성전자주식회사 7.1 채널 오디오 재생 방법 및 장치
US7529377B2 (en) * 2005-07-29 2009-05-05 Klipsch L.L.C. Loudspeaker with automatic calibration and room equalization
RU2421936C2 (ru) * 2006-01-03 2011-06-20 СЛ Аудио А/С Способ и система для выравнивания громкоговорителя в комнате
JP4914124B2 (ja) * 2006-06-14 2012-04-11 パナソニック株式会社 音像制御装置及び音像制御方法
US8116458B2 (en) * 2006-10-19 2012-02-14 Panasonic Corporation Acoustic image localization apparatus, acoustic image localization system, and acoustic image localization method, program and integrated circuit
WO2009010832A1 (en) * 2007-07-18 2009-01-22 Bang & Olufsen A/S Loudspeaker position estimation
KR101445075B1 (ko) * 2007-12-18 2014-09-29 삼성전자주식회사 어레이 스피커를 통한 음장 제어 방법 및 장치
US8401202B2 (en) * 2008-03-07 2013-03-19 Ksc Industries Incorporated Speakers with a digital signal processor
US8976986B2 (en) * 2009-09-21 2015-03-10 Microsoft Technology Licensing, Llc Volume adjustment based on listener position
KR20120004909A (ko) * 2010-07-07 2012-01-13 삼성전자주식회사 입체 음향 재생 방법 및 장치
EP2426949A3 (en) * 2010-08-31 2013-09-11 Samsung Electronics Co., Ltd. Method and apparatus for reproducing front surround sound
US20120148075A1 (en) * 2010-12-08 2012-06-14 Creative Technology Ltd Method for optimizing reproduction of audio signals from an apparatus for audio reproduction
US9754595B2 (en) * 2011-06-09 2017-09-05 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding 3-dimensional audio signal
JP2014022959A (ja) * 2012-07-19 2014-02-03 Sony Corp 信号処理装置、信号処理方法、プログラムおよびスピーカシステム
JP6085029B2 (ja) * 2012-08-31 2017-02-22 ドルビー ラボラトリーズ ライセンシング コーポレイション 種々の聴取環境におけるオブジェクトに基づくオーディオのレンダリング及び再生のためのシステム
WO2014160576A2 (en) * 2013-03-28 2014-10-02 Dolby Laboratories Licensing Corporation Rendering audio using speakers organized as a mesh of arbitrary n-gons
AU2014244722C1 (en) * 2013-03-29 2017-03-02 Samsung Electronics Co., Ltd. Audio apparatus and audio providing method thereof
EP3056025B1 (en) * 2013-10-07 2018-04-25 Dolby Laboratories Licensing Corporation Spatial audio processing system and method
US9380399B2 (en) * 2013-10-09 2016-06-28 Summit Semiconductor Llc Handheld interface for speaker location
EP3092819A1 (en) * 2014-01-10 2016-11-16 Dolby Laboratories Licensing Corporation Reflected sound rendering using downward firing drivers
WO2016077317A1 (en) * 2014-11-11 2016-05-19 Google Inc. Virtual sound systems and methods

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0937398A (ja) * 1995-07-17 1997-02-07 Matsushita Electric Ind Co Ltd 適応音像再生装置
KR101086398B1 (ko) * 2003-12-24 2011-11-25 삼성전자주식회사 다수의 마이크로폰을 이용한 지향성 제어 가능 스피커시스템 및 그 방법
US20070061026A1 (en) * 2005-09-13 2007-03-15 Wen Wang Systems and methods for audio processing
KR100739798B1 (ko) * 2005-12-22 2007-07-13 삼성전자주식회사 청취 위치를 고려한 2채널 입체음향 재생 방법 및 장치
US20110059841A1 (en) * 2006-10-18 2011-03-10 John Stratton Photocatalytically Active Polysiloxane Coating Compositions

Also Published As

Publication number Publication date
US20180122396A1 (en) 2018-05-03
KR20160122029A (ko) 2016-10-21

Similar Documents

Publication Publication Date Title
US10674262B2 (en) Merging audio signals with spatial metadata
US10206030B2 (en) Microphone array system and microphone array control method
WO2015152661A1 (ko) 오디오 오브젝트를 렌더링하는 방법 및 장치
WO2016089049A1 (ko) 스피커의 위치 정보에 기초하여, 오디오 신호를 출력하는 방법 및 디바이스
WO2015105393A1 (ko) 삼차원 오디오 재생 방법 및 장치
KR101812862B1 (ko) 오디오 장치
WO2011115430A2 (ko) 입체 음향 재생 방법 및 장치
WO2014088328A1 (ko) 오디오 제공 장치 및 오디오 제공 방법
EP3304548A1 (en) Electronic device and method of audio processing thereof
WO2013147547A1 (en) Audio apparatus and method of converting audio signal thereof
WO2012161555A2 (ko) 방향성 마이크 어레이를 이용한 신호 분리시스템 및 그 제공방법
WO2013019022A2 (en) Method and apparatus for processing audio signal
WO2017209477A1 (ko) 오디오 신호 처리 방법 및 장치
WO2011139090A2 (en) Method and apparatus for reproducing stereophonic sound
WO2018101600A1 (en) Electronic apparatus and control method thereof
WO2015147619A1 (ko) 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
EP2984854A1 (en) Audio recording and playback apparatus
WO2013103256A1 (ko) 다채널 음향 신호의 정위 방법 및 장치
WO2021060680A1 (en) Methods and systems for recording mixed audio signal and reproducing directional audio
WO2019147040A1 (ko) 스테레오 오디오를 바이노럴 오디오로 업 믹스하는 방법 및 이를 위한 장치
WO2019156338A1 (ko) 노이즈가 정제된 음성 신호를 획득하는 방법 및 이를 수행하는 전자 장치
KR20140146491A (ko) 오디오 시스템, 오디오 장치 및 오디오 장치의 채널 맵핑 방법
WO2018186656A1 (ko) 오디오 신호 처리 방법 및 장치
WO2016167464A1 (ko) 스피커 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치
WO2019031767A1 (en) DISPLAY APPARATUS AND CONTROL METHOD THEREOF

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16780187

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15566278

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16780187

Country of ref document: EP

Kind code of ref document: A1