KR20150128616A - Apparatus and method for transforming audio signal using location of the user and the speaker - Google Patents

Apparatus and method for transforming audio signal using location of the user and the speaker Download PDF

Info

Publication number
KR20150128616A
KR20150128616A KR1020150064632A KR20150064632A KR20150128616A KR 20150128616 A KR20150128616 A KR 20150128616A KR 1020150064632 A KR1020150064632 A KR 1020150064632A KR 20150064632 A KR20150064632 A KR 20150064632A KR 20150128616 A KR20150128616 A KR 20150128616A
Authority
KR
South Korea
Prior art keywords
audio signal
user
format
output
speaker
Prior art date
Application number
KR1020150064632A
Other languages
Korean (ko)
Other versions
KR102310240B1 (en
Inventor
서정일
박태진
강경옥
장대영
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20150128616A publication Critical patent/KR20150128616A/en
Priority to KR1020210130107A priority Critical patent/KR102455549B1/en
Application granted granted Critical
Publication of KR102310240B1 publication Critical patent/KR102310240B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

The method for converting an audio signal comprises the steps of: determining an input audio format by analyzing an input audio signal; determining an output speaker format based on a position of speakers; determining a sweet spot by estimating a position of a user; and converting the input audio signal according to the output speaker format to perform an optimized sound in the sweet spot.

Description

사용자 및 스피커의 위치를 이용한 오디오 신호 변환 장치 및 그 방법{APPARATUS AND METHOD FOR TRANSFORMING AUDIO SIGNAL USING LOCATION OF THE USER AND THE SPEAKER}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus and method for converting audio signals using a user and a speaker,

본 발명은 사용자 및 스피커의 위치에 따라 오디오 신호를 변환하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and a method for converting an audio signal according to a position of a user and a speaker.

기존의 5.1채널 멀티채널 서라운드 포맷의 오디오 재생능력 한계를 극복하기 위한 새로운 오디오 포맷(7.1, 9.1, 10.1, 22.2 채널 등)이 제안되고 있다. 또한, Dolby ATMOS, IOSONO, DTS MDS(Multi-Dimensional Sound와 같이 오디오 객체신호를 포함하는 오디오 포맷이 제안되고 있다. New audio formats (7.1, 9.1, 10.1, 22.2 channels, etc.) have been proposed to overcome the limitations of existing audio playback capabilities of 5.1 channel multi-channel surround format. In addition, audio formats including audio object signals such as Dolby ATMOS, IOSONO, and DTS MDS (Multi-Dimensional Sound) have been proposed.

그리고, 오디오 콘텐츠 포맷의 종류가 스테레오 및 5.1채널에서 7.1, 9.1, 10.2, 22.2채널과 같이 다양해지고 있다. 그러나, 오디오 콘텐츠의 포맷 별로 고유한 스피커 포맷을 가지고 있으므로, 모든 오디오 콘텐츠의 포맷에 대응하는 음향 청취 환경을 구성하기 어려운 실정이다.In addition, the types of audio content formats are diversified such as 7.1, 9.1, 10.2, and 22.2 channels in stereo and 5.1 channels. However, since it has a speaker format unique to each format of the audio content, it is difficult to configure an acoustic listening environment corresponding to the format of all the audio contents.

또한, 사용자가 스피커들을 설치하는 공간의 크기와 사용자의 취향 및 인테리어에 따라 스피커들의 위치가 스피커 포맷과 일치하지 않을 수 있다. 이때, 스피커들은 사용자에게 최고 품질의 음장을 재현할 수 없다.In addition, the size of the space in which the user installs the speakers, the user's taste, and the location of the speakers depending on the interior may not match the speaker format. At this time, the speakers can not reproduce the highest quality sound field to the user.

따라서, 사용자 별로 오디오 시스템에 포함된 스피커들의 위치가 다른 점을 고려하여 사용자에게 최적화된 음장을 재현하는 방법이 요청되고 있다.Accordingly, there is a demand for a method of reproducing a sound field optimized for a user in consideration of the difference in position of speakers included in the audio system for each user.

본 발명은 사용자의 오디오 시스템에 최적화된 음장을 재현하는 장치 및 방법을 제공할 수 있다.The present invention can provide an apparatus and method for reproducing a sound field optimized for a user's audio system.

본 발명의 일실시예에 따른 오디오 신호 변환 방법은 입력 오디오 신호를 분석하여 입력 오디오 포맷을 결정하는 단계; 스피커들의 위치를 기초로 출력 스피커 포맷을 결정하는 단계; 사용자의 위치를 추정하여 스윗 스팟(Sweet Spot)을 결정하는 단계; 및 상기 스윗 스팟에서 최적의 음향이 재현될 수 있도록 상기 출력 스피커 포맷에 따라 상기 입력 오디오 신호를 변환하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided an audio signal converting method comprising: analyzing an input audio signal to determine an input audio format; Determining an output speaker format based on the location of the speakers; Estimating a location of a user to determine a sweet spot; And converting the input audio signal according to the output speaker format so that optimal sound can be reproduced at the sweet spot.

본 발명의 일실시예에 따른 오디오 신호 변환 방법의 출력 스피커 포맷을 결정하는 단계는, 청취 공간에 위치한 마이크로폰 또는 마이크로폰 어레이 신호를 분석하여 추정한 스피커들의 위치를 기초로 출력 스피커 포맷을 결정할 수 있다.The determining of the output speaker format of the audio signal converting method according to an embodiment of the present invention may determine the output speaker format based on the position of the speakers estimated by analyzing the microphone or microphone array signal located in the listening space.

본 발명의 일실시예에 따른 오디오 신호 변환 방법의 스윗 스팟을 결정하는 단계는, 사용자 위치에 설치되어 있는 마이크로폰, 또는 사용자가 소지하는 단말에 구비된 마이크로폰으로 사용자의 위치를 분석하여 사용자의 위치를 추정할 수 있다.The step of determining a sweet spot in the method of converting an audio signal according to an embodiment of the present invention includes analyzing a user's location with a microphone installed at a user location or a microphone installed at a terminal carried by the user, Can be estimated.

본 발명의 일실시예에 따른 오디오 신호 변환 방법의 스윗 스팟을 결정하는 단계는, 스피커에서 출력된 오디오 신호를 녹음하고, GPS, 무선 Access point 정보, 및 영상 정보 중 적어도 하나와 녹음된 오디오 신호를 이용하여 사용자의 위치를 추정할 수 있다.The determining of the sweet spot of the audio signal converting method according to an embodiment of the present invention includes recording the audio signal output from the speaker, and recording at least one of GPS, wireless access point information, It is possible to estimate the position of the user.

본 발명의 일실시예에 따른 오디오 신호 변환 방법의 입력 오디오 신호를 변환하는 단계는, 입력 오디오 포맷에 포함된 채널의 개수보다 출력 스피커 포맷에 대응하는 스피커의 개수가 많은 경우, 입력 오디오 신호에서 추출한 음원과 배경음을 출력 스피커 포맷에 따라 변환할 수 있다.The step of converting the input audio signal in the audio signal converting method according to an embodiment of the present invention may include converting the input audio signal into an audio signal in which the number of speakers corresponding to the output speaker format is larger than the number of channels included in the input audio format, The sound source and background sound can be converted according to the output speaker format.

본 발명의 일실시예에 따른 오디오 신호 변환 방법의 입력 오디오 신호를 변환하는 단계는, 출력 스피커 포맷이 스피커 어레이인 경우, WFS 또는 빔포밍 기법을 이용하여 가상 음장을 형성하는 프로세싱을 수행하여 입력 오디오 신호를 변환할 수 있다.The converting of the input audio signal in the audio signal converting method according to an exemplary embodiment of the present invention may be performed by performing processing for forming a virtual sound field using a WFS or beamforming technique when the output speaker format is a speaker array, The signal can be converted.

본 발명의 일실시예에 따른 오디오 신호 변환 방법은 입력 오디오 신호를 분석하여 입력 오디오 포맷을 결정하는 단계; 스피커들의 위치를 추정하여 출력 스피커 포맷을 결정하는 단계; 상기 출력 스피커 포맷에 따라 상기 입력 오디오 신호를 출력 오디오 신호로 변환하는 단계; 사용자의 위치를 추정하는 단계; 추정한 사용자의 위치에 따라 스윗 스팟을 결정하는 단계; 및 상기 스윗 스팟에서 최적의 음향이 재현될 수 있도록 출력 오디오 신호를 변환하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided an audio signal converting method comprising: analyzing an input audio signal to determine an input audio format; Estimating a position of the speakers to determine an output speaker format; Converting the input audio signal to an output audio signal according to the output speaker format; Estimating a position of the user; Determining a sweet spot according to an estimated user's position; And converting the output audio signal so that optimal sound can be reproduced at the sweet spot.

본 발명의 일실시예에 따른 오디오 신호 변환 방법의 출력 스피커 포맷을 결정하는 단계는, 청취 공간에 위치한 마이크로폰 또는 마이크로폰 어레이 신호를 분석하여 추정한 스피커들의 위치를 기초로 출력 스피커 포맷을 결정할 수 있다.The determining of the output speaker format of the audio signal converting method according to an embodiment of the present invention may determine the output speaker format based on the position of the speakers estimated by analyzing the microphone or microphone array signal located in the listening space.

본 발명의 일실시예에 따른 오디오 신호 변환 방법의 사용자의 위치를 추정하는 단계는, 사용자 위치에 설치되어 있는 마이크로폰, 또는 사용자가 소지하는 단말에 구비된 마이크로폰으로 사용자의 위치를 분석하여 사용자의 위치를 추정할 수 있다.The step of estimating the position of the user in the audio signal converting method according to an embodiment of the present invention may include analyzing the position of the user with a microphone installed at a user location or a microphone provided at a terminal carried by the user, Can be estimated.

본 발명의 일실시예에 따른 오디오 신호 변환 방법의 사용자의 위치를 추정하는 단계는, 스피커에서 출력된 오디오 신호를 녹음하고, GPS, 무선 Access point 정보, 및 영상 정보 중 적어도 하나와 녹음된 오디오 신호를 이용하여 사용자의 위치를 추정할 수 있다.The step of estimating the user's position in the audio signal converting method according to an embodiment of the present invention includes recording the audio signal output from the speaker, and recording at least one of GPS, wireless Access point information, The position of the user can be estimated.

본 발명의 일실시예에 의하면, 출력 오디오 신호를 청취하는 사용자의 위치 및 출력 오디오 신호를 출력하는 스피커의 위치에 따라 입력 오디오 신호를 변환함으로써, 사용자의 오디오 시스템에 최적화된 음장을 재현할 수 있다.According to an embodiment of the present invention, the sound field optimized for the user's audio system can be reproduced by converting the input audio signal according to the position of the user listening to the output audio signal and the position of the speaker outputting the output audio signal .

도 1은 본 발명의 일실시예에 따른 오디오 신호 변환 장치를 나타내는 도면이다.
도 2은 본 발명의 일실시예에 따라 변환된 오디오 신호가 사운드 바에서 출력되는 일례이다.
도 3은 본 발명의 일실시예에 따라 변환된 오디오 신호가 7.1 채널 스피커 환경에서 출력되는 일례이다.
도 4는 본 발명의 제1 실시예에 따른 프로세서를 나타내는 도면이다.
도 5는 본 발명의 제2 실시예에 따른 프로세서를 나타내는 도면이다.
도 6은 본 발명의 제1 실시예에 따른 오디오 신호 변환 방법을 도시한 플로우차트이다.
도 7은 본 발명의 제2 실시예에 따른 오디오 신호 변환 방법을 도시한 플로우차트이다.1 is a block diagram of an apparatus for converting an audio signal according to an embodiment of the present invention.
2 is an example in which a converted audio signal is output from a sound bar according to an embodiment of the present invention.
3 is an example in which the converted audio signal is output in a 7.1 channel speaker environment according to an embodiment of the present invention.
4 is a diagram illustrating a processor according to a first embodiment of the present invention.
5 is a diagram of a processor according to a second embodiment of the present invention.
6 is a flowchart illustrating an audio signal converting method according to the first embodiment of the present invention.
7 is a flowchart showing an audio signal converting method according to a second embodiment of the present invention.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 오디오 신호 변환 방법은 오디오 신호 변환 장치에 의해 수행될 수 있다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. An audio signal converting method according to an embodiment of the present invention can be performed by an audio signal converting apparatus.

도 1은 본 발명의 일실시예에 따른 오디오 신호 변환 장치를 나타내는 도면이다.1 is a block diagram of an apparatus for converting an audio signal according to an embodiment of the present invention.

오디오 신호 변환 장치(100)는 도 1에 도시된 바와 같이 수신기(110), 프로세서(120), 및 송신기(130)를 포함할 수 있다. The audio signal conversion apparatus 100 may include a receiver 110, a processor 120, and a transmitter 130, as shown in FIG.

수신기(110)는 입력 오디오 신호를 수신할 수 있다. 이때, 입력 오디오 신호는 복수의 채널들로 구성된 다채널 오디오 신호, 스테레오 신호, 또는 모노 신호 중 하나일 수 있다.The receiver 110 may receive an input audio signal. At this time, the input audio signal may be one of a multi-channel audio signal, a stereo signal, or a mono signal composed of a plurality of channels.

프로세서(120)는 스피커들의 위치를 기초로 출력 스피커 포맷을 결정하고, 사용자의 위치를 추정하여 스윗 스팟(Sweet Spot)을 결정할 수 있다. 그리고, 프로세서(120)는 스윗 스팟에서 최적의 음향이 재현될 수 있도록 출력 스피커 포맷에 따라 입력 오디오 신호를 변환하여 출력할 수 있다. The processor 120 may determine an output speaker format based on the location of the speakers and may determine a sweet spot by estimating the location of the user. The processor 120 may convert the input audio signal according to the output speaker format so that the optimal sound can be reproduced at the sweet spot.

이때, 프로세서(120)는 입력 오디오 신호를 분석하여 입력 오디오 포맷을 결정할 수 있다. 구체적으로, 프로세서(120)는 입력 오디오 신호, 또는 입력 오디오 신호의 헤더 정보나 비트스트림을 분석하여 입력 오디오 포맷을 결정할 수 있다. 또한, 프로세서(120)는 사용자에게 선택된 포맷을 입력 오디오 포맷으로 결정할 수 있다. 그리고, 입력 오디오 신호가 압축 부호화된 비트스트림인 경우, 프로세서(120)는 입력 오디오 신호의 복호화하고, 복호화한 결과를 분석하여 입력 오디오 포맷을 결정할 수 있다. 이때, 입력 오디오 포맷은 입력 오디오 신호의 포맷일 수 있다.At this time, the processor 120 may analyze the input audio signal to determine the input audio format. In particular, the processor 120 may determine the input audio format by analyzing the input audio signal, or the header information or bitstream of the input audio signal. In addition, the processor 120 may determine the user selected format as an input audio format. If the input audio signal is a compression-coded bitstream, the processor 120 may decode the input audio signal and analyze the decoded result to determine an input audio format. At this time, the input audio format may be a format of the input audio signal.

또한, 프로세서(120)는 스피커들의 위치를 추정하여 출력 스피커 포맷을 결정할 수 있다. 예를 들어, 프로세서(120)가 위치를 추정한 스피커들이 7개이며, 스피커들 각각의 위치가 분산된 경우, 프로세서(120)는 출력 스피커 포맷을 7.1 채널로 결정할 수 있다. 또한, 프로세서(120)가 위치를 추정한 스피커들이 7개이며, 스피커들의 위치가 일렬로 배열된 경우, 프로세서(120)는 출력 스피커 포맷을 스피커 어레이로 결정할 수 있다.In addition, the processor 120 may determine the output speaker format by estimating the position of the speakers. For example, if the processor 120 estimates the position of seven speakers and the position of each of the speakers is dispersed, the processor 120 may determine the output speaker format to be 7.1 channels. In addition, if the processor 120 estimates the position of seven speakers and the positions of the speakers are arranged in a line, the processor 120 may determine the output speaker format to be a speaker array.

이때, 프로세서(120)는 사용자로부터 입력 받은 스피커의 위치, 또는 복수의 출력 스피커 포맷 중에서 사용자에게 선택된 포맷을 기초로 스피커들의 위치를 추정할 수 있다. 또한, 프로세서(120)는 오디오 신호가 출력되는 청취 공간에 설치된 마이크로폰 또는 마이크로폰 어레이 신호를 분석하여 스피커들 위치를 추정할 수 있다. 예를 들어, 마이크로폰은 사용자가 소지하는 단말에 포함된 마이크로폰일 수 있다. 이때, 수신기(110)는 유무선 인터페이스로 사용자가 소지하는 단말이 취득한 음향 정보를 수신하여 프로세서(120)에 전달할 수 있다.At this time, the processor 120 may estimate the position of the speaker based on the position of the speaker input from the user or the format selected by the user from the plurality of output speaker formats. In addition, the processor 120 may estimate a speaker position by analyzing a microphone or a microphone array signal installed in a listening space in which an audio signal is output. For example, the microphone may be a microphone included in the terminal carried by the user. At this time, the receiver 110 can receive the sound information acquired by the terminal owned by the user via the wired / wireless interface and transmit the received sound information to the processor 120. [

그리고, 프로세서(120)는 사용자의 위치를 추정할 수 있다. 예를 들어, 프로세서(120)는 사용자로부터 사용자의 위치를 입력 받거나, GUI 인터페이스와 같은 사용자 인터페이스를 통해 선택된 사용자의 위치를 입력 받을 수 있다. 또한, 사용자 위치에 설치되어 있는 마이크로폰, 또는 사용자가 소지하는 단말에 구비된 마이크로폰으로 사용자의 위치를 분석하여 사용자의 위치를 추정할 수 있다.The processor 120 may then estimate the location of the user. For example, the processor 120 may receive a location of a user from a user or input a location of a selected user through a user interface such as a GUI interface. In addition, the position of the user can be estimated by analyzing the position of the user with a microphone installed at the user location or a microphone provided at the terminal carried by the user.

이때, 프로세서(120)는 추정한 사용자의 위치를 이용하여 스윗 스팟의 중심점과 크기를 결정할 수 있다. 이때, 스윗 스팟의 중심점과 크기는 사용자의 선택에 따라 이동되거나 변화될 수 있다. At this time, the processor 120 can determine the center point and the size of the sweet spot using the estimated user's position. At this time, the center point and the size of the sweet spot may be moved or changed according to the user's selection.

프로세서(120)는 마이크로폰을 이용하여 스피커에서 출력된 오디오 신호를 녹음할 수 있다. 그리고, 녹음된 오디오 신호를 이용하여 스피커의 위치 및 사용자의 위치를 추정할 수 있다. 또한, 프로세서(120)는 GPS, 무선 Access point 정보, 및 영상 정보 중 적어도 하나를 이용하여 사용자의 위치를 추정할 수 있다. 그리고, 프로세서(120)는 GPS, 무선 Access point 정보, 및 영상 정보 중 적어도 하나를 녹음된 오디오 신호와 함께 이용하여 스피커의 위치 및 사용자의 위치를 추정할 수도 있다. The processor 120 may use a microphone to record the audio signal output from the speaker. Then, the position of the speaker and the position of the user can be estimated using the recorded audio signal. In addition, the processor 120 may estimate the location of the user using at least one of GPS, wireless Access point information, and image information. The processor 120 may estimate at least one of the position of the speaker and the position of the user by using at least one of GPS, wireless access point information, and image information together with the recorded audio signal.

또한, 프로세서(120)는 채널 수를 변화시키는 업믹스 또는 다운믹스 과정 및, 출력 스피커 포맷을 활용하여 입력 오디오 포맷이 가지고 있는 음질 및 음장감을 최대한 유지할 수 있도록 하는 일련의 필터링 또는 렌더링 과정을 수행하여 입력 오디오 신호를 출력 오디오 신호로 변환할 수 있다.The processor 120 performs an upmix or downmix process for changing the number of channels and a series of filtering or rendering processes for maximizing the sound quality and the sound field feeling of the input audio format using the output speaker format The input audio signal can be converted into an output audio signal.

입력 오디오 포맷에 포함된 채널의 개수보다 출력 스피커 포맷에 대응하는 스피커의 개수가 많을 수 있다. 예를 들어, 출력 스피커 포맷이 7.1 채널 스피커 환경(140)이고, 입력 오디오 포맷이 스테레오 채널일 수 있다. 이때, 프로세서(120)는 입력 오디오 신호를 분석하여 음원과 배경음을 추출할 수 있다. 그리고, 프로세서(120)는 추출한 음원과 배경음을 출력 스피커 포맷에 따라 변환하여 출력 오디오 신호를 출력할 수 있다.The number of speakers corresponding to the output speaker format may be larger than the number of channels included in the input audio format. For example, the output speaker format may be a 7.1 channel speaker environment 140, and the input audio format may be a stereo channel. At this time, the processor 120 may analyze the input audio signal to extract the sound source and the background sound. The processor 120 may convert the extracted sound source and background sound according to the output speaker format, and output the output audio signal.

또한, 출력 스피커 포맷이 사운드 바와 같은 스피커 어레이(150)인 경우, 프로세서(120)는 WFS 또는 빔포밍 기법을 이용하여 가상 음장을 형성하는 프로세싱을 수행할 수도 있다. In addition, when the output speaker format is a speaker array 150 such as a sound bar, the processor 120 may perform processing to form a virtual sound field using a WFS or beam-forming technique.

오디오 신호 변환 장치(100)는 출력 오디오 신호를 청취하는 사용자의 위치 및 출력 오디오 신호를 출력하는 스피커의 위치에 따라 입력 오디오 신호를 변환함으로써, 사용자의 오디오 시스템에 최적화된 음장을 재현할 수 있다.The audio signal conversion apparatus 100 can reproduce the sound field optimized for the user's audio system by converting the input audio signal according to the position of the user listening to the output audio signal and the position of the speaker outputting the output audio signal.

도 2은 본 발명의 일실시예에 따라 변환된 오디오 신호가 사운드 바에서 출력되는 일례이다.2 is an example in which a converted audio signal is output from a sound bar according to an embodiment of the present invention.

출력 스피커 포맷이 스피커 어레이(150)인 경우, 오디오 신호 변환 장치(100)는 도 2에 도시된 바와 같이 WFS 또는 빔포밍 기법을 이용하여 스피커 어레이(150)에서 출력된 출력 오디오 신호가 가상 음장을 형성하도록 할 수 있다.When the output speaker format is the speaker array 150, the audio signal conversion apparatus 100 converts the output audio signal output from the speaker array 150 to a virtual sound field using a WFS or beamforming technique as shown in FIG. .

사용자(200)가 스피커 어레이(150)가 설치된 공간의 왼쪽에 위치한 경우, 오디오 신호 변환 장치(100)는 입력 오디오 신호를 케이스 1(Case 1)에 도시된 바와 같이 사용자(200)의 위치에 가상 음장이 집중되도록 하는 출력 오디오 신호로 변환할 수 있다.When the user 200 is located on the left side of the space where the speaker array 150 is installed, the audio signal conversion apparatus 100 converts the input audio signal into a virtual audio signal at a position of the user 200 as shown in Case 1 It can be converted into an output audio signal for converging the sound field.

또한, 사용자(200)가 스피커 어레이(150)가 설치된 공간의 오른쪽에 위치한 경우, 오디오 신호 변환 장치(100)는 입력 오디오 신호를 케이스 2(Case 2)에 도시된 바와 같이 사용자(200)의 위치에 가상 음장이 집중되도록 하는 출력 오디오 신호로 변환할 수 있다.When the user 200 is located on the right side of the space in which the speaker array 150 is installed, the audio signal conversion apparatus 100 converts the input audio signal to a position of the user 200 as shown in Case 2 To an output audio signal for allowing a virtual sound field to be concentrated in the audio signal.

즉, 오디오 신호 변환 장치(100)는 출력 오디오 신호에 의하여 가상 음장이 집중되는 위치를 사용자의 위치에 따라 결정함으로써, 스피커 어레이(150)에서 사용자의 위치에 최적화된 가상 음장이 재현되도록 할 수 있다.That is, the audio signal conversion apparatus 100 can determine the position of the virtual sound field concentrated by the output audio signal according to the position of the user, so that the virtual sound field optimized for the user's position can be reproduced in the speaker array 150 .

도 3은 본 발명의 일실시예에 따라 변환된 오디오 신호가 7.1 채널 스피커 환경에서 출력되는 일례이다.3 is an example in which the converted audio signal is output in a 7.1 channel speaker environment according to an embodiment of the present invention.

출력 스피커 포맷이 C(center) 채널(310), R(right) 채널(320), RS(right side) 채널(330), RB(right back) 채널(340), LB(left back) 채널(350), LS(left side) 채널(360), 및 L(left) 채널(370)로 구성된 7.1 채널일 수 있다. 그리고, 각각의 채널에 대응하는 스피커가 출력하는 출력 오디오 신호는 가상 음장을 생성할 수 있다. The output speaker format includes C (center) channel 310, R (right) channel 320, RS (right side) channel 330, RB (right back) channel 340, LB ), An LS (left side) channel 360, and an L (left) channel 370. [ An output audio signal output by the speaker corresponding to each channel can generate a virtual sound field.

이때, 오디오 신호 변환 장치(100)는 도 2에 도시된 바와 같이 사용자(300)의 위치에 따라 스피커가 출력하는 출력 오디오 신호에 의하여 생성되는 가상 음장의 위치를 변경할 수 있다.At this time, the audio signal conversion apparatus 100 may change the position of the virtual sound field generated by the output audio signal output from the speaker according to the position of the user 300, as shown in FIG.

사용자(300)가 7.1 채널 스피커 환경이 설치된 공간의 왼쪽에 위치한 경우, 오디오 신호 변환 장치(100)는 입력 오디오 신호를 케이스 1(Case 1)에 도시된 바와 같이 사용자(300)의 위치에 가상 음장이 집중되도록 하는 출력 오디오 신호로 변환할 수 있다.When the user 300 is located on the left side of the space in which the 7.1 channel speaker environment is installed, the audio signal conversion apparatus 100 converts the input audio signal into a virtual sound field in the position of the user 300 as shown in Case 1 (Case 1) Can be converted into an output audio signal to be concentrated.

또한, 사용자(300)가 7.1 채널 스피커 환경이 설치된 공간의 오른쪽에 위치한 경우, 오디오 신호 변환 장치(100)는 입력 오디오 신호를 케이스 2(Case 2)에 도시된 바와 같이 사용자(300)의 위치에 가상 음장이 집중되도록 하는 출력 오디오 신호로 변환할 수 있다.When the user 300 is located on the right side of the space where the 7.1 channel speaker environment is installed, the audio signal converter 100 converts the input audio signal to the position of the user 300 as shown in Case 2 It can be converted into an output audio signal that allows the virtual sound field to be concentrated.

도 4는 본 발명의 제1 실시예에 따른 프로세서를 나타내는 도면이다.4 is a diagram illustrating a processor according to a first embodiment of the present invention.

프로세서(120)는 도 4에 도시된 바와 같이 입력 오디오 포맷 결정부(410), 출력 스피커 포맷 결정부(420), 사용자 위치 추정부(430), 및 오디오 포맷 변환부(440)를 포함할 수 있다.The processor 120 may include an input audio format determination unit 410, an output speaker format determination unit 420, a user position estimation unit 430, and an audio format conversion unit 440, as shown in FIG. have.

입력 오디오 포맷 결정부(410)는 입력 오디오 신호나 입력 오디오 신호의 헤더 정보나 비트스트림을 분석하여 입력 오디오 포맷을 결정할 수 있다. 또한, 입력 오디오 포맷 결정부(410)는 사용자로부터 선택된 오디오 포맷을 입력 오디오 포맷으로 결정할 수 있다. 그리고, 입력 오디오 신호가 압축 부호화된 비트스트림인 경우, 입력 오디오 포맷 결정부(410)는 입력 오디오 신호를 복호화하여 오디오 포맷 변환부(440)에 전달할 수 있다.The input audio format determination unit 410 may determine the input audio format by analyzing the header information or the bit stream of the input audio signal or the input audio signal. In addition, the input audio format determination unit 410 may determine the audio format selected by the user as the input audio format. If the input audio signal is a compression-coded bitstream, the input audio format determination unit 410 may decode the input audio signal and transmit the decoded audio signal to the audio format conversion unit 440.

출력 스피커 포맷 결정부(420)는 사용자로부터 입력 받은 스피커의 위치, 또는 복수의 출력 스피커 포맷들 중 사용자에게 선택된 출력 스피커 포맷을 이용하여 출력 오디오 신호를 출력하는 스피커들의 위치를 추정할 수 있다. 또한, 출력 스피커 포맷 결정부(420)는 청취 공간에 위치한 마이크로폰 또는 마이크로폰 어레이 신호를 분석하여 스피커들의 위치를 추정할 수 있다.The output speaker format determination unit 420 may estimate the position of the speaker that outputs the output audio signal using the position of the speaker input from the user or the output speaker format selected by the user among the plurality of output speaker formats. Also, the output speaker format determination unit 420 may estimate the position of the speakers by analyzing the microphone or microphone array signal located in the listening space.

사용자 위치 추정부(430)는 사용자로부터 입력 받은 위치, 또는 GUI 인터페이스 등과 같은 사용자 인터페이스를 통하여 사용자에게 선택된 위치를 기초로 사용자의 위치를 추정할 수 있다. 또한, 사용자 위치 추정부(430)는 사용자의 위치에 설치된 마이크로폰 또는, 사용자가 보유하고 있는 단말에 구비된 마이크로폰으로 수집한 정보를 분석하여 사용자의 위치를 추정할 수 있다. 예를 들어, 마이크로폰으로 수집한 정보는 스피커에서 출력된 오디오 신호일 수 있다. 그리고, 사용자 위치 추정부(430)는 GPS, 무선 Access point 정보, 영상 정보 중 적어도 하나를 마이크로폰으로 수집한 정보와 함께 사용하여 사용자의 위치를 추정할 수 있다. The user location estimation unit 430 may estimate the location of the user based on the location selected by the user or the location selected by the user through a user interface such as a GUI interface. In addition, the user location estimation unit 430 may estimate the location of the user by analyzing the information collected by the microphone installed at the user's location or the microphone provided at the terminal owned by the user. For example, the information collected by the microphone may be an audio signal output from the speaker. The user location estimation unit 430 may estimate the location of the user by using at least one of GPS, wireless access point information, and image information together with information collected by the microphone.

또한, 사용자 위치 추정부(430)는 추정한 사용자의 위치를 기초로 스윗 스팟 중심점을 결정할 수 있다. 이때, 사용자 위치 추정부(430)가 결정하는 스윗 스팟 중심점과 크기는 사용자의 선택에 따라 이동되거나 변화될 수 있다. In addition, the user location estimation unit 430 may determine the sweet spot center point based on the estimated user's location. At this time, the sweet spot center point and the size determined by the user position estimation unit 430 may be moved or changed according to the user's selection.

오디오 포맷 변환부(440)는 스윗 스팟 위치에서 최적 음향이 재현될 수 있도록 입력 오디오 신호를 출력 스피커 포맷에 맞게 출력 오디오 신호로 변환할 수 있다. The audio format conversion unit 440 may convert the input audio signal into an output audio signal in accordance with the output speaker format so that the optimal sound can be reproduced at the sweet spot position.

이때, 오디오 포맷 변환부(440)는 채널 수를 변화시키는 업믹스 또는 다운믹스 과정뿐만 아니라 출력 스피커 포맷을 활용하여 입력 오디오 포맷이 가지고 있는 음질 및 음장감을 최대한 유지할 수 있도록 하는 일련의 필터링 또는 렌더링 과정을 수행하여 입력 오디오 신호를 출력 오디오 신호로 변환할 수 있다.At this time, the audio format converting unit 440 performs a series of filtering or rendering processes for maximizing the sound quality and the sound field feeling of the input audio format by using the output speaker format as well as the upmix or downmix process for changing the number of channels To convert the input audio signal into an output audio signal.

또한, 출력 스피커 포맷이 사운드바와 같은 스피커어레이인 경우, 오디오 포맷 변환부(440)는 WFS, 빔포밍 기법을 이용하여 가상 음장을 형성하는 프로세싱을 수행하여 입력 오디오 신호를 출력 오디오 신호로 변환할 수 있다.When the output speaker format is a speaker array such as a sound bar, the audio format conversion unit 440 performs processing for forming a virtual sound field using a WFS, beamforming technique to convert the input audio signal into an output audio signal have.

그리고, 입력 오디오 포맷의 채널 개수보다 출력 스피커 포맷의 스피커 개수가 많은 경우, 오디오 포맷 변환부(440)는 입력 오디오 신호를 분석하거나 음원과 배경음을 추출하여 출력 스피커 포맷에 맞게 변환할 수 있다.If the number of speakers of the output speaker format is larger than the number of channels of the input audio format, the audio format converter 440 may analyze the input audio signal or extract the sound source and the background sound to convert the audio signal into the output speaker format.

도 5는 본 발명의 제2 실시예에 따른 프로세서를 나타내는 도면이다.5 is a diagram of a processor according to a second embodiment of the present invention.

프로세서(120)는 도 5에 도시된 바와 같이 입력 오디오 포맷 결정부(510), 출력 스피커 포맷 결정부(520), 오디오 포맷 변환부(530), 사용자 위치 추정부(540), 스윗 스팟 영역 결정부(550) 및 최적 음장 생성부(560)를 포함할 수 있다.5, the processor 120 may include an input audio format determination unit 510, an output speaker format determination unit 520, an audio format conversion unit 530, a user position estimation unit 540, (550) and an optimal sound field generator (560).

입력 오디오 포맷 결정부(510)는 입력 오디오 신호나 입력 오디오 신호의 헤더 정보나 비트스트림을 분석하여 입력 오디오 포맷을 결정할 수 있다. 또한, 입력 오디오 포맷 결정부(510)는 사용자로부터 선택된 오디오 포맷을 입력 오디오 포맷으로 결정할 수 있다. 그리고, 입력 오디오 신호가 압축 부호화된 비트스트림인 경우, 입력 오디오 포맷 결정부(510)는 입력 오디오 신호를 복호화하여 오디오 포맷 변환부(530)에 전달할 수 있다.The input audio format determination unit 510 may determine the input audio format by analyzing the header information or the bit stream of the input audio signal or the input audio signal. In addition, the input audio format determination unit 510 may determine the audio format selected by the user as the input audio format. If the input audio signal is a compression-coded bitstream, the input audio format determination unit 510 may decode the input audio signal and transmit the decoded audio signal to the audio format conversion unit 530.

출력 스피커 포맷 결정부(520)는 사용자로부터 입력 받은 스피커의 위치, 또는 복수의 출력 스피커 포맷들 중 사용자에게 선택된 출력 스피커 포맷을 이용하여 출력 오디오 신호를 출력하는 스피커들의 위치를 추정할 수 있다. 또한, 출력 스피커 포맷 결정부(520)는 청취 공간에 위치한 마이크로폰 또는 마이크로폰 어레이 신호를 분석하여 스피커들의 위치를 추정할 수 있다.The output speaker format determination unit 520 may estimate the position of the speaker that outputs the output audio signal using the position of the speaker input from the user or the output speaker format selected by the user among the plurality of output speaker formats. Also, the output speaker format determination unit 520 may estimate the position of the speakers by analyzing the microphone or microphone array signal located in the listening space.

오디오 포맷 변환부(530)는 출력 스피커 포맷에 따라 입력 오디오 신호를 출력 오디오 신호로 변환할 수 있다. 이때, 오디오 포맷 변환부(530)는 채널 수를 변화시키는 업믹스 또는 다운믹스 과정뿐만 아니라 출력 스피커 포맷을 활용하여 입력 오디오 포맷이 가지고 있는 음질 및 음장감을 최대한 유지할 수 있도록 하는 일련의 필터링 또는 렌더링 과정을 수행하여 입력 오디오 신호를 출력 오디오 신호로 변환할 수 있다.The audio format converting unit 530 may convert the input audio signal into an output audio signal according to the output speaker format. At this time, the audio format converting unit 530 performs a series of filtering or rendering processes for maximizing the sound quality and the sound field feeling of the input audio format by using the output speaker format as well as the upmix or downmix process for changing the number of channels To convert the input audio signal into an output audio signal.

또한, 출력 스피커 포맷이 사운드바와 같은 스피커어레이인 경우, 오디오 포맷 변환부(440)는 WFS, 빔포밍 기법을 이용하여 가상 음장을 형성하는 프로세싱을 수행하여 입력 오디오 신호를 출력 오디오 신호로 변환할 수 있다.When the output speaker format is a speaker array such as a sound bar, the audio format conversion unit 440 performs processing for forming a virtual sound field using a WFS, beamforming technique to convert the input audio signal into an output audio signal have.

그리고, 입력 오디오 포맷의 채널 개수보다 출력 포맷의 스피커 개수가 많은 경우, 오디오 포맷 변환부(440)는 입력 오디오 신호를 분석하거나 음원과 배경음을 추출하여 출력 스피커 포맷에 맞게 변환할 수 있다.If the number of speakers in the output format is larger than the number of channels in the input audio format, the audio format converter 440 may analyze the input audio signal or extract the sound source and the background sound to convert the audio signal into the output speaker format.

사용자 위치 추정부(540)는 사용자로부터 입력 받은 위치, 또는 GUI 인터페이스 등과 같은 사용자 인터페이스를 통하여 사용자에게 선택된 위치를 기초로 사용자의 위치를 추정할 수 있다. The user location estimation unit 540 may estimate the location of the user based on the location selected by the user or the location selected by the user through the user interface such as the GUI interface.

또한, 출력 스피커 포맷 결정부(520)에서 스피커들의 위치를 추정하는 과정 및 사용자 위치 추정부(430)에서 사용자의 위치를 추정하는 과정은 사용자의 위치에 설치된 마이크로폰 또는, 사용자가 보유하고 있는 단말에 구비된 마이크로폰으로 녹음한 음향 신호를 이용하여 수행될 수 있다. 이때, 음향 신호는 출력 스피커가 출력하는 음향 신호일 수 있다. 또한, 출력 스피커 포맷 결정부(520)에서 스피커들의 위치를 추정하는 과정 및 사용자 위치 추정부(430)에서 사용자의 위치를 추정하는 과정은 GPS, 무선 Access point 정보, 영상 정보 중 적어도 하나를 마이크로폰으로 수집한 음향 정보와 함께 사용하여 사용자의 위치를 추정할 수 있다.The process of estimating the position of the speakers in the output speaker format determination unit 520 and the process of estimating the position of the user in the user position estimation unit 430 may be performed by a microphone installed in the user's position, And may be performed using an acoustic signal recorded with a built-in microphone. At this time, the acoustic signal may be an acoustic signal output from the output speaker. In addition, the process of estimating the positions of the speakers in the output speaker format determination unit 520 and the process of estimating the position of the user in the user position estimation unit 430 may include at least one of GPS, wireless access point information, It is possible to estimate the position of the user by using it together with the collected sound information.

스윗 스팟 영역 결정부(550)는 사용자 위치 추정부(540)가 추정한 사용자의 위치를 기초로 스윗 스팟 중심점을 결정할 수 있다. 이때, 스윗 스팟 영역 결정부(550)가 결정하는 스윗 스팟 중심점과 크기는 사용자의 선택에 따라 이동되거나 변화될 수 있다. 또한, 스윗 스팟 영역 결정부(550)는 출력 스피커 포맷 결정부(520)가 결정한 출력 스피커 포맷 정보를 참고하여 스윗 스팟의 중심점과 영역을 결정할 수 있다.The sweet spot area determination unit 550 may determine the sweet spot center point based on the position of the user estimated by the user position estimation unit 540. [ At this time, the sweet spot center point and the size determined by the sweet spot area determination unit 550 may be moved or changed according to the user's selection. The sweet spot area determining unit 550 can determine the center point and the area of the sweet spot by referring to the output speaker format information determined by the output speaker format determining unit 520.

최적 음장 생성부(560)는 오디오 포맷 변환부(530)에서 출력 스피커 포맷에 따라 입력 오디오 신호를 변환한 출력 오디오 신호를 스윗 스팟 영역 결정부(550)에서 결정된 스윗 스팟 영역에서 최적 음장이 형성되도록 변환하여 출력할 수 있다.The optimal sound field generating unit 560 generates an optimal audio signal by converting the input audio signal according to the output speaker format in the audio format converting unit 530 so that the optimal sound field is formed in the sweet spot area determined by the sweet spot area determining unit 550 Can be converted and output.

도 6은 본 발명의 제1 실시예에 따른 오디오 신호 변환 방법을 도시한 플로우차트이다.6 is a flowchart illustrating an audio signal converting method according to the first embodiment of the present invention.

단계(610)에서 프로세서(120)는 입력 오디오 신호나 입력 오디오 신호의 헤더 정보나 비트스트림을 분석하여 입력 오디오 포맷을 결정할 수 있다. 또한, 프로세서(120)는 사용자로부터 선택된 오디오 포맷을 입력 오디오 포맷으로 결정할 수 있다. In step 610, the processor 120 may determine the input audio format by analyzing the header information or the bitstream of the input audio signal or the input audio signal. In addition, the processor 120 may determine the audio format selected by the user as the input audio format.

단계(620)에서 프로세서(120)는 사용자로부터 입력 받은 스피커의 위치, 또는 청취 공간에 위치한 마이크로폰 또는 마이크로폰 어레이 신호를 분석하여 스피커들의 위치를 추정할 수 있다.In step 620, the processor 120 may estimate the position of the speaker by analyzing the position of the speaker input from the user or the microphone or microphone array signal located in the listening space.

단계(630)에서 프로세서(120)는 단계(620)에서 추정한 스피커들의 위치를 기초로 출력 스피커 포맷을 결정할 수 있다. 또한, 사용자가 복수의 출력 스피커 포맷들 중 하나를 선택한 경우, 프로세서(120)는 단계(620)을 패스하고, 사용자에게 선택된 출력 스피커 포맷을 출력 스피커 포맷으로 결정할 수 있다.In step 630, the processor 120 may determine the output speaker format based on the position of the speakers estimated in step 620. [ Further, if the user selects one of the plurality of output speaker formats, the processor 120 passes the step 620 and may determine the output speaker format selected for the user as the output speaker format.

단계(640)에서 프로세서(120)는 사용자로부터 입력 받은 위치, 또는 GUI 인터페이스 등과 같은 사용자 인터페이스를 통하여 사용자에게 선택된 위치를 기초로 사용자의 위치를 추정할 수 있다. 그리고, 프로세서(120)는 추정한 사용자의 위치를 기초로 스윗 스팟 중심점을 결정할 수 있다. In step 640, the processor 120 may estimate the location of the user based on the location received by the user or the location selected by the user via the user interface, such as a GUI interface. Then, the processor 120 can determine the sweet spot center point based on the estimated user's position.

단계(650)에서 오디오 포맷 변환부(440)는 단계(640)에서 결정한 스윗 스팟 위치에서 최적 음향이 재현될 수 있도록 입력 오디오 신호를 출력 스피커 포맷에 맞게 출력 오디오 신호로 변환할 수 있다. The audio format converting unit 440 may convert the input audio signal into an output audio signal in accordance with the output speaker format so that the optimal sound can be reproduced at the sweet spot position determined in operation 640. [

단계(660)에서 송신기(130)는 단계(650)에서 변환된 출력 오디오 신호를 스피커로 출력할 수 있다.In step 660, the transmitter 130 may output the converted output audio signal in step 650 to the speaker.

도 7은 본 발명의 제2 실시예에 따른 오디오 신호 변환 방법을 도시한 플로우차트이다.7 is a flowchart showing an audio signal converting method according to a second embodiment of the present invention.

단계(710)에서 프로세서(120)는 입력 오디오 신호나 입력 오디오 신호의 헤더 정보나 비트스트림을 분석하여 입력 오디오 포맷을 결정할 수 있다. 또한, 입력 오디오 포맷 결정부(510)는 사용자로부터 선택된 오디오 포맷을 입력 오디오 포맷으로 결정할 수 있다. In step 710, the processor 120 may determine the input audio format by analyzing the header information or the bitstream of the input audio signal or the input audio signal. In addition, the input audio format determination unit 510 may determine the audio format selected by the user as the input audio format.

단계(720)에서 프로세서(120)는 사용자로부터 입력 받은 스피커의 위치, 또는 복수의 출력 스피커 포맷들 중 사용자에게 선택된 출력 스피커 포맷을 이용하여 출력 오디오 신호를 출력하는 스피커들의 위치를 추정할 수 있다. 또한, 출력 스피커 포맷 결정부(520)는 청취 공간에 위치한 마이크로폰 또는 마이크로폰 어레이 신호를 분석하여 스피커들의 위치를 추정할 수 있다. 그리고, 프로세서(120)는 추정한 스피커들의 위치를 기초로 출력 스피커 포맷을 결정할 수 있다.In step 720, the processor 120 may estimate the position of the speakers that output the output audio signal using the position of the speaker input from the user or the output speaker format selected by the user among the plurality of output speaker formats. Also, the output speaker format determination unit 520 may estimate the position of the speakers by analyzing the microphone or microphone array signal located in the listening space. The processor 120 may then determine the output speaker format based on the estimated location of the speakers.

단계(730)에서 프로세서(120)는 출력 스피커 포맷에 따라 입력 오디오 신호를 출력 오디오 신호로 변환할 수 있다. 이때, 오디오 포맷 변환부(530)는 채널 수를 변화시키는 업믹스 또는 다운믹스 과정뿐만 아니라 출력 스피커 포맷을 활용하여 입력 오디오 포맷이 가지고 있는 음질 및 음장감을 최대한 유지할 수 있도록 하는 일련의 필터링 또는 렌더링 과정을 수행하여 입력 오디오 신호를 출력 오디오 신호로 변환할 수 있다.In step 730, the processor 120 may convert the input audio signal to an output audio signal in accordance with the output speaker format. At this time, the audio format converting unit 530 performs a series of filtering or rendering processes for maximizing the sound quality and the sound field feeling of the input audio format by using the output speaker format as well as the upmix or downmix process for changing the number of channels To convert the input audio signal into an output audio signal.

단계(740)에서 프로세서(120)는 사용자로부터 입력 받은 위치, 또는 GUI 인터페이스 등과 같은 사용자 인터페이스를 통하여 사용자에게 선택된 위치를 기초로 사용자의 위치를 추정할 수 있다. In step 740, the processor 120 may estimate the location of the user based on the location received by the user or the location selected by the user via the user interface, such as a GUI interface.

단계(750)에서 프로세서(120)는 추정한 사용자의 위치를 기초로 스윗 스팟 중심점을 결정할 수 있다. 이때, 프로세서(120)가 결정하는 스윗 스팟 중심점과 크기는 사용자의 선택에 따라 이동되거나 변화될 수 있다. 또한, 프로세서(120)는 단계(720)에서 결정된 출력 스피커 포맷 정보를 참고하여 스윗 스팟의 중심점과 영역을 결정할 수 있다.At step 750, the processor 120 may determine the sweet spot center point based on the estimated user's location. At this time, the sweet spot center point and the size determined by the processor 120 may be moved or changed according to the user's selection. In addition, the processor 120 may determine the center point and area of the sweet spot by referring to the output speaker format information determined in step 720. [

단계(760)에서 프로세서(120)는 단계(730)에서 입력 오디오 신호를 변환한 출력 오디오 신호를 단계(750)에서 결정된 스윗 스팟 영역에서 최적 음장이 형성되도록 변환할 수 있다.In step 760, the processor 120 may convert the input audio signal, which has been converted from the input audio signal in step 730, to form the optimal sound field in the sweet spot area determined in step 750.

단계(770)에서 송신기(130)는 단계(760)에서 변환된 출력 오디오 신호를 스피커로 출력할 수 있다. In step 770, the transmitter 130 may output the converted output audio signal in step 760 to the speaker.

본 발명은 출력 오디오 신호를 청취하는 사용자의 위치 및 출력 오디오 신호를 출력하는 스피커의 위치에 따라 입력 오디오 신호를 변환함으로써, 사용자의 오디오 시스템에 최적화된 음장을 재현할 수 있다.The present invention can reproduce the sound field optimized for the user's audio system by converting the input audio signal according to the position of the user listening to the output audio signal and the position of the speaker outputting the output audio signal.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.

120: 프로세서
130: 송신기120: Processor
130: Transmitter

Claims (1)

입력 오디오 신호를 분석하여 입력 오디오 포맷을 결정하는 단계;
스피커들의 위치를 기초로 출력 스피커 포맷을 결정하는 단계;
사용자의 위치를 추정하여 스윗 스팟(Sweet Spot)을 결정하는 단계; 및
상기 스윗 스팟에서 최적의 음향이 재현될 수 있도록 상기 출력 스피커 포맷에 따라 상기 입력 오디오 신호를 변환하는 단계
를 포함하는 오디오 신호 변환 방법
Analyzing the input audio signal to determine an input audio format;
Determining an output speaker format based on the location of the speakers;
Estimating a location of a user to determine a sweet spot; And
Converting the input audio signal according to the output speaker format so that optimal sound can be reproduced at the sweet spot
An audio signal conversion method
KR1020150064632A 2014-05-09 2015-05-08 Apparatus and method for transforming audio signal using location of the user and the speaker KR102310240B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210130107A KR102455549B1 (en) 2014-05-09 2021-09-30 Apparatus and method for transforming audio signal using location of the user and the speaker

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20140055530 2014-05-09
KR1020140055530 2014-05-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210130107A Division KR102455549B1 (en) 2014-05-09 2021-09-30 Apparatus and method for transforming audio signal using location of the user and the speaker

Publications (2)

Publication Number Publication Date
KR20150128616A true KR20150128616A (en) 2015-11-18
KR102310240B1 KR102310240B1 (en) 2021-10-08

Family

ID=54839119

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020150064632A KR102310240B1 (en) 2014-05-09 2015-05-08 Apparatus and method for transforming audio signal using location of the user and the speaker
KR1020210130107A KR102455549B1 (en) 2014-05-09 2021-09-30 Apparatus and method for transforming audio signal using location of the user and the speaker

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210130107A KR102455549B1 (en) 2014-05-09 2021-09-30 Apparatus and method for transforming audio signal using location of the user and the speaker

Country Status (1)

Country Link
KR (2) KR102310240B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220240015A1 (en) * 2021-01-22 2022-07-28 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for audio balance adjustment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007081928A (en) * 2005-09-15 2007-03-29 Yamaha Corp Av amplifier apparatus
JP2014003493A (en) * 2012-06-19 2014-01-09 Sharp Corp Voice control device, voice reproduction device, television receiver, voice control method, program and storage medium

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8515759B2 (en) * 2007-04-26 2013-08-20 Dolby International Ab Apparatus and method for synthesizing an output signal
KR20120038891A (en) * 2010-10-14 2012-04-24 삼성전자주식회사 Audio system and down mixing method of audio signals using thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007081928A (en) * 2005-09-15 2007-03-29 Yamaha Corp Av amplifier apparatus
JP2014003493A (en) * 2012-06-19 2014-01-09 Sharp Corp Voice control device, voice reproduction device, television receiver, voice control method, program and storage medium

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220240015A1 (en) * 2021-01-22 2022-07-28 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for audio balance adjustment
US11659331B2 (en) * 2021-01-22 2023-05-23 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for audio balance adjustment

Also Published As

Publication number Publication date
KR20210124943A (en) 2021-10-15
KR102455549B1 (en) 2022-10-18
KR102310240B1 (en) 2021-10-08

Similar Documents

Publication Publication Date Title
CN111316354B (en) Determination of target spatial audio parameters and associated spatial audio playback
KR102653560B1 (en) Processing appratus mulit-channel and method for audio signals
CN109313907B (en) Combining audio signals and spatial metadata
EP3079379B1 (en) Method and apparatus for reproducing three-dimensional audio
KR102322104B1 (en) Audio signal procsessing apparatus and method for sound bar
TW201810249A (en) Distance panning using near/far-field rendering
US11924627B2 (en) Ambience audio representation and associated rendering
CN112567765B (en) Spatial audio capture, transmission and reproduction
KR20140047005A (en) Apparatus and method for generating audio data, apparatus and method for playing audio data
JP6382965B2 (en) Audio signal rendering method and apparatus
KR102455549B1 (en) Apparatus and method for transforming audio signal using location of the user and the speaker
KR101516644B1 (en) Method for Localization of Sound Source and Detachment of Mixed Sound Sources for Applying Virtual Speaker
KR102439339B1 (en) Apparatus and method for generating multimedia data, method and apparatus for playing multimedia data
KR102421292B1 (en) System and method for reproducing audio object signal
US20130170652A1 (en) Front wave field synthesis (wfs) system and method for providing surround sound using 7.1 channel codec
KR20140025268A (en) System and method for reappearing sound field using sound bar
KR101090962B1 (en) Audio up-mixing apparatus and method
JP6306958B2 (en) Acoustic signal conversion device, acoustic signal conversion method, and acoustic signal conversion program
WO2020075286A1 (en) Audio device and audio signal output method
KR20150005438A (en) Method and apparatus for processing audio signal
KR20120068525A (en) Apparatus and method for down mixing of wave field synthesis signal

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right