KR102310240B1 - Apparatus and method for transforming audio signal using location of the user and the speaker - Google Patents
Apparatus and method for transforming audio signal using location of the user and the speaker Download PDFInfo
- Publication number
- KR102310240B1 KR102310240B1 KR1020150064632A KR20150064632A KR102310240B1 KR 102310240 B1 KR102310240 B1 KR 102310240B1 KR 1020150064632 A KR1020150064632 A KR 1020150064632A KR 20150064632 A KR20150064632 A KR 20150064632A KR 102310240 B1 KR102310240 B1 KR 102310240B1
- Authority
- KR
- South Korea
- Prior art keywords
- audio signal
- user
- format
- output
- speaker
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
사용자 및 스피커의 위치를 이용한 오디오 신호 변환 장치 및 방법이 개시된다.
오디오 신호 변환 방법은 입력 오디오 신호를 분석하여 입력 오디오 포맷을 결정하는 단계; 스피커들의 위치를 기초로 출력 스피커 포맷을 결정하는 단계; 사용자의 위치를 추정하여 스윗 스팟(Sweet Spot)을 결정하는 단계; 및 상기 스윗 스팟에서 최적의 음향이 재현될 수 있도록 상기 출력 스피커 포맷에 따라 상기 입력 오디오 신호를 변환하는 단계를 포함할 수 있다.Disclosed are an apparatus and method for converting an audio signal using the location of a user and a speaker.
The audio signal conversion method includes the steps of analyzing an input audio signal to determine an input audio format; determining an output speaker format based on the positions of the speakers; determining a sweet spot by estimating the user's location; and converting the input audio signal according to the output speaker format so that an optimal sound can be reproduced in the sweet spot.
Description
본 발명은 사용자 및 스피커의 위치에 따라 오디오 신호를 변환하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for converting an audio signal according to the location of a user and a speaker.
기존의 5.1채널 멀티채널 서라운드 포맷의 오디오 재생능력 한계를 극복하기 위한 새로운 오디오 포맷(7.1, 9.1, 10.1, 22.2 채널 등)이 제안되고 있다. 또한, Dolby ATMOS, IOSONO, DTS MDS(Multi-Dimensional Sound와 같이 오디오 객체신호를 포함하는 오디오 포맷이 제안되고 있다. New audio formats (7.1, 9.1, 10.1, 22.2 channels, etc.) have been proposed to overcome the limitations of the audio reproduction capability of the existing 5.1-channel multi-channel surround format. In addition, an audio format including an audio object signal such as Dolby ATMOS, IOSONO, and DTS MDS (Multi-Dimensional Sound) has been proposed.
그리고, 오디오 콘텐츠 포맷의 종류가 스테레오 및 5.1채널에서 7.1, 9.1, 10.2, 22.2채널과 같이 다양해지고 있다. 그러나, 오디오 콘텐츠의 포맷 별로 고유한 스피커 포맷을 가지고 있으므로, 모든 오디오 콘텐츠의 포맷에 대응하는 음향 청취 환경을 구성하기 어려운 실정이다.Also, the types of audio content formats are diversifying from stereo and 5.1 channels to 7.1, 9.1, 10.2, and 22.2 channels. However, since each audio content format has a unique speaker format, it is difficult to configure an acoustic listening environment corresponding to all audio content formats.
또한, 사용자가 스피커들을 설치하는 공간의 크기와 사용자의 취향 및 인테리어에 따라 스피커들의 위치가 스피커 포맷과 일치하지 않을 수 있다. 이때, 스피커들은 사용자에게 최고 품질의 음장을 재현할 수 없다.In addition, the positions of the speakers may not match the speaker format according to the size of a space in which the user installs the speakers and the user's taste and interior. At this time, the speakers cannot reproduce the highest quality sound field to the user.
따라서, 사용자 별로 오디오 시스템에 포함된 스피커들의 위치가 다른 점을 고려하여 사용자에게 최적화된 음장을 재현하는 방법이 요청되고 있다.Accordingly, there is a demand for a method of reproducing a sound field optimized for a user in consideration of the fact that the positions of speakers included in the audio system are different for each user.
본 발명은 사용자의 오디오 시스템에 최적화된 음장을 재현하는 장치 및 방법을 제공할 수 있다.The present invention may provide an apparatus and method for reproducing a sound field optimized for a user's audio system.
본 발명의 일실시예에 따른 오디오 신호 변환 방법은 입력 오디오 신호를 분석하여 입력 오디오 포맷을 결정하는 단계; 스피커들의 위치를 기초로 출력 스피커 포맷을 결정하는 단계; 사용자의 위치를 추정하여 스윗 스팟(Sweet Spot)을 결정하는 단계; 및 상기 스윗 스팟에서 최적의 음향이 재현될 수 있도록 상기 출력 스피커 포맷에 따라 상기 입력 오디오 신호를 변환하는 단계를 포함할 수 있다.An audio signal conversion method according to an embodiment of the present invention includes the steps of analyzing an input audio signal to determine an input audio format; determining an output speaker format based on the positions of the speakers; determining a sweet spot by estimating the user's location; and converting the input audio signal according to the output speaker format so that an optimal sound can be reproduced in the sweet spot.
본 발명의 일실시예에 따른 오디오 신호 변환 방법의 출력 스피커 포맷을 결정하는 단계는, 청취 공간에 위치한 마이크로폰 또는 마이크로폰 어레이 신호를 분석하여 추정한 스피커들의 위치를 기초로 출력 스피커 포맷을 결정할 수 있다.The determining of the output speaker format of the audio signal conversion method according to an embodiment of the present invention may include determining the output speaker format based on positions of speakers estimated by analyzing a microphone or microphone array signal located in a listening space.
본 발명의 일실시예에 따른 오디오 신호 변환 방법의 스윗 스팟을 결정하는 단계는, 사용자 위치에 설치되어 있는 마이크로폰, 또는 사용자가 소지하는 단말에 구비된 마이크로폰으로 사용자의 위치를 분석하여 사용자의 위치를 추정할 수 있다.In the step of determining the sweet spot of the audio signal conversion method according to an embodiment of the present invention, the user's location is determined by analyzing the user's location with a microphone installed at the user's location or a microphone provided in a terminal possessed by the user. can be estimated
본 발명의 일실시예에 따른 오디오 신호 변환 방법의 스윗 스팟을 결정하는 단계는, 스피커에서 출력된 오디오 신호를 녹음하고, GPS, 무선 Access point 정보, 및 영상 정보 중 적어도 하나와 녹음된 오디오 신호를 이용하여 사용자의 위치를 추정할 수 있다.The step of determining the sweet spot of the method for converting an audio signal according to an embodiment of the present invention comprises recording an audio signal output from a speaker, and recording the audio signal with at least one of GPS, wireless access point information, and image information. can be used to estimate the user's location.
본 발명의 일실시예에 따른 오디오 신호 변환 방법의 입력 오디오 신호를 변환하는 단계는, 입력 오디오 포맷에 포함된 채널의 개수보다 출력 스피커 포맷에 대응하는 스피커의 개수가 많은 경우, 입력 오디오 신호에서 추출한 음원과 배경음을 출력 스피커 포맷에 따라 변환할 수 있다.In the converting of the input audio signal of the audio signal conversion method according to an embodiment of the present invention, when the number of speakers corresponding to the output speaker format is greater than the number of channels included in the input audio format, the audio signal is extracted from the input audio signal. The sound source and background sound can be converted according to the output speaker format.
본 발명의 일실시예에 따른 오디오 신호 변환 방법의 입력 오디오 신호를 변환하는 단계는, 출력 스피커 포맷이 스피커 어레이인 경우, WFS 또는 빔포밍 기법을 이용하여 가상 음장을 형성하는 프로세싱을 수행하여 입력 오디오 신호를 변환할 수 있다.In the converting of the input audio signal of the audio signal converting method according to an embodiment of the present invention, when the output speaker format is a speaker array, processing for forming a virtual sound field using WFS or beamforming is performed to form the input audio signal can be converted.
본 발명의 일실시예에 따른 오디오 신호 변환 방법은 입력 오디오 신호를 분석하여 입력 오디오 포맷을 결정하는 단계; 스피커들의 위치를 추정하여 출력 스피커 포맷을 결정하는 단계; 상기 출력 스피커 포맷에 따라 상기 입력 오디오 신호를 출력 오디오 신호로 변환하는 단계; 사용자의 위치를 추정하는 단계; 추정한 사용자의 위치에 따라 스윗 스팟을 결정하는 단계; 및 상기 스윗 스팟에서 최적의 음향이 재현될 수 있도록 출력 오디오 신호를 변환하는 단계를 포함할 수 있다.An audio signal conversion method according to an embodiment of the present invention includes the steps of analyzing an input audio signal to determine an input audio format; determining an output speaker format by estimating the positions of the speakers; converting the input audio signal into an output audio signal according to the output speaker format; estimating the user's location; determining a sweet spot according to the estimated user's location; and converting the output audio signal so that an optimal sound can be reproduced in the sweet spot.
본 발명의 일실시예에 따른 오디오 신호 변환 방법의 출력 스피커 포맷을 결정하는 단계는, 청취 공간에 위치한 마이크로폰 또는 마이크로폰 어레이 신호를 분석하여 추정한 스피커들의 위치를 기초로 출력 스피커 포맷을 결정할 수 있다.The determining of the output speaker format of the audio signal conversion method according to an embodiment of the present invention may include determining the output speaker format based on positions of speakers estimated by analyzing a microphone or microphone array signal located in a listening space.
본 발명의 일실시예에 따른 오디오 신호 변환 방법의 사용자의 위치를 추정하는 단계는, 사용자 위치에 설치되어 있는 마이크로폰, 또는 사용자가 소지하는 단말에 구비된 마이크로폰으로 사용자의 위치를 분석하여 사용자의 위치를 추정할 수 있다.The step of estimating the location of the user of the method for converting an audio signal according to an embodiment of the present invention comprises analyzing the location of the user with a microphone installed at the user's location or a microphone provided in a terminal possessed by the user to determine the location of the user. can be estimated.
본 발명의 일실시예에 따른 오디오 신호 변환 방법의 사용자의 위치를 추정하는 단계는, 스피커에서 출력된 오디오 신호를 녹음하고, GPS, 무선 Access point 정보, 및 영상 정보 중 적어도 하나와 녹음된 오디오 신호를 이용하여 사용자의 위치를 추정할 수 있다.The step of estimating the location of the user of the audio signal conversion method according to an embodiment of the present invention comprises recording an audio signal output from a speaker, and recording an audio signal with at least one of GPS, wireless access point information, and image information. can be used to estimate the user's location.
본 발명의 일실시예에 의하면, 출력 오디오 신호를 청취하는 사용자의 위치 및 출력 오디오 신호를 출력하는 스피커의 위치에 따라 입력 오디오 신호를 변환함으로써, 사용자의 오디오 시스템에 최적화된 음장을 재현할 수 있다.According to an embodiment of the present invention, a sound field optimized for the user's audio system can be reproduced by converting the input audio signal according to the position of the user who listens to the output audio signal and the position of the speaker that outputs the output audio signal. .
도 1은 본 발명의 일실시예에 따른 오디오 신호 변환 장치를 나타내는 도면이다.
도 2은 본 발명의 일실시예에 따라 변환된 오디오 신호가 사운드 바에서 출력되는 일례이다.
도 3은 본 발명의 일실시예에 따라 변환된 오디오 신호가 7.1 채널 스피커 환경에서 출력되는 일례이다.
도 4는 본 발명의 제1 실시예에 따른 프로세서를 나타내는 도면이다.
도 5는 본 발명의 제2 실시예에 따른 프로세서를 나타내는 도면이다.
도 6은 본 발명의 제1 실시예에 따른 오디오 신호 변환 방법을 도시한 플로우차트이다.
도 7은 본 발명의 제2 실시예에 따른 오디오 신호 변환 방법을 도시한 플로우차트이다.1 is a diagram illustrating an audio signal conversion apparatus according to an embodiment of the present invention.
2 is an example in which an audio signal converted according to an embodiment of the present invention is output from a sound bar.
3 is an example in which an audio signal converted according to an embodiment of the present invention is output in a 7.1-channel speaker environment.
4 is a diagram illustrating a processor according to a first embodiment of the present invention.
5 is a diagram illustrating a processor according to a second embodiment of the present invention.
6 is a flowchart illustrating an audio signal conversion method according to the first embodiment of the present invention.
7 is a flowchart illustrating an audio signal conversion method according to a second embodiment of the present invention.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 오디오 신호 변환 방법은 오디오 신호 변환 장치에 의해 수행될 수 있다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The audio signal conversion method according to an embodiment of the present invention may be performed by an audio signal conversion apparatus.
도 1은 본 발명의 일실시예에 따른 오디오 신호 변환 장치를 나타내는 도면이다.1 is a diagram illustrating an audio signal conversion apparatus according to an embodiment of the present invention.
오디오 신호 변환 장치(100)는 도 1에 도시된 바와 같이 수신기(110), 프로세서(120), 및 송신기(130)를 포함할 수 있다. The audio
수신기(110)는 입력 오디오 신호를 수신할 수 있다. 이때, 입력 오디오 신호는 복수의 채널들로 구성된 다채널 오디오 신호, 스테레오 신호, 또는 모노 신호 중 하나일 수 있다.The
프로세서(120)는 스피커들의 위치를 기초로 출력 스피커 포맷을 결정하고, 사용자의 위치를 추정하여 스윗 스팟(Sweet Spot)을 결정할 수 있다. 그리고, 프로세서(120)는 스윗 스팟에서 최적의 음향이 재현될 수 있도록 출력 스피커 포맷에 따라 입력 오디오 신호를 변환하여 출력할 수 있다. The
이때, 프로세서(120)는 입력 오디오 신호를 분석하여 입력 오디오 포맷을 결정할 수 있다. 구체적으로, 프로세서(120)는 입력 오디오 신호, 또는 입력 오디오 신호의 헤더 정보나 비트스트림을 분석하여 입력 오디오 포맷을 결정할 수 있다. 또한, 프로세서(120)는 사용자에게 선택된 포맷을 입력 오디오 포맷으로 결정할 수 있다. 그리고, 입력 오디오 신호가 압축 부호화된 비트스트림인 경우, 프로세서(120)는 입력 오디오 신호의 복호화하고, 복호화한 결과를 분석하여 입력 오디오 포맷을 결정할 수 있다. 이때, 입력 오디오 포맷은 입력 오디오 신호의 포맷일 수 있다.In this case, the
또한, 프로세서(120)는 스피커들의 위치를 추정하여 출력 스피커 포맷을 결정할 수 있다. 예를 들어, 프로세서(120)가 위치를 추정한 스피커들이 7개이며, 스피커들 각각의 위치가 분산된 경우, 프로세서(120)는 출력 스피커 포맷을 7.1 채널로 결정할 수 있다. 또한, 프로세서(120)가 위치를 추정한 스피커들이 7개이며, 스피커들의 위치가 일렬로 배열된 경우, 프로세서(120)는 출력 스피커 포맷을 스피커 어레이로 결정할 수 있다.Also, the
이때, 프로세서(120)는 사용자로부터 입력 받은 스피커의 위치, 또는 복수의 출력 스피커 포맷 중에서 사용자에게 선택된 포맷을 기초로 스피커들의 위치를 추정할 수 있다. 또한, 프로세서(120)는 오디오 신호가 출력되는 청취 공간에 설치된 마이크로폰 또는 마이크로폰 어레이 신호를 분석하여 스피커들 위치를 추정할 수 있다. 예를 들어, 마이크로폰은 사용자가 소지하는 단말에 포함된 마이크로폰일 수 있다. 이때, 수신기(110)는 유무선 인터페이스로 사용자가 소지하는 단말이 취득한 음향 정보를 수신하여 프로세서(120)에 전달할 수 있다.In this case, the
그리고, 프로세서(120)는 사용자의 위치를 추정할 수 있다. 예를 들어, 프로세서(120)는 사용자로부터 사용자의 위치를 입력 받거나, GUI 인터페이스와 같은 사용자 인터페이스를 통해 선택된 사용자의 위치를 입력 받을 수 있다. 또한, 사용자 위치에 설치되어 있는 마이크로폰, 또는 사용자가 소지하는 단말에 구비된 마이크로폰으로 사용자의 위치를 분석하여 사용자의 위치를 추정할 수 있다.Then, the
이때, 프로세서(120)는 추정한 사용자의 위치를 이용하여 스윗 스팟의 중심점과 크기를 결정할 수 있다. 이때, 스윗 스팟의 중심점과 크기는 사용자의 선택에 따라 이동되거나 변화될 수 있다. In this case, the
프로세서(120)는 마이크로폰을 이용하여 스피커에서 출력된 오디오 신호를 녹음할 수 있다. 그리고, 녹음된 오디오 신호를 이용하여 스피커의 위치 및 사용자의 위치를 추정할 수 있다. 또한, 프로세서(120)는 GPS, 무선 Access point 정보, 및 영상 정보 중 적어도 하나를 이용하여 사용자의 위치를 추정할 수 있다. 그리고, 프로세서(120)는 GPS, 무선 Access point 정보, 및 영상 정보 중 적어도 하나를 녹음된 오디오 신호와 함께 이용하여 스피커의 위치 및 사용자의 위치를 추정할 수도 있다. The
또한, 프로세서(120)는 채널 수를 변화시키는 업믹스 또는 다운믹스 과정 및, 출력 스피커 포맷을 활용하여 입력 오디오 포맷이 가지고 있는 음질 및 음장감을 최대한 유지할 수 있도록 하는 일련의 필터링 또는 렌더링 과정을 수행하여 입력 오디오 신호를 출력 오디오 신호로 변환할 수 있다.In addition, the
입력 오디오 포맷에 포함된 채널의 개수보다 출력 스피커 포맷에 대응하는 스피커의 개수가 많을 수 있다. 예를 들어, 출력 스피커 포맷이 7.1 채널 스피커 환경(140)이고, 입력 오디오 포맷이 스테레오 채널일 수 있다. 이때, 프로세서(120)는 입력 오디오 신호를 분석하여 음원과 배경음을 추출할 수 있다. 그리고, 프로세서(120)는 추출한 음원과 배경음을 출력 스피커 포맷에 따라 변환하여 출력 오디오 신호를 출력할 수 있다.The number of speakers corresponding to the output speaker format may be greater than the number of channels included in the input audio format. For example, the output speaker format may be a 7.1
또한, 출력 스피커 포맷이 사운드 바와 같은 스피커 어레이(150)인 경우, 프로세서(120)는 WFS 또는 빔포밍 기법을 이용하여 가상 음장을 형성하는 프로세싱을 수행할 수도 있다. In addition, when the output speaker format is a
오디오 신호 변환 장치(100)는 출력 오디오 신호를 청취하는 사용자의 위치 및 출력 오디오 신호를 출력하는 스피커의 위치에 따라 입력 오디오 신호를 변환함으로써, 사용자의 오디오 시스템에 최적화된 음장을 재현할 수 있다.The audio
도 2은 본 발명의 일실시예에 따라 변환된 오디오 신호가 사운드 바에서 출력되는 일례이다.2 is an example in which an audio signal converted according to an embodiment of the present invention is output from a sound bar.
출력 스피커 포맷이 스피커 어레이(150)인 경우, 오디오 신호 변환 장치(100)는 도 2에 도시된 바와 같이 WFS 또는 빔포밍 기법을 이용하여 스피커 어레이(150)에서 출력된 출력 오디오 신호가 가상 음장을 형성하도록 할 수 있다.When the output speaker format is the
사용자(200)가 스피커 어레이(150)가 설치된 공간의 왼쪽에 위치한 경우, 오디오 신호 변환 장치(100)는 입력 오디오 신호를 케이스 1(Case 1)에 도시된 바와 같이 사용자(200)의 위치에 가상 음장이 집중되도록 하는 출력 오디오 신호로 변환할 수 있다.When the
또한, 사용자(200)가 스피커 어레이(150)가 설치된 공간의 오른쪽에 위치한 경우, 오디오 신호 변환 장치(100)는 입력 오디오 신호를 케이스 2(Case 2)에 도시된 바와 같이 사용자(200)의 위치에 가상 음장이 집중되도록 하는 출력 오디오 신호로 변환할 수 있다.In addition, when the
즉, 오디오 신호 변환 장치(100)는 출력 오디오 신호에 의하여 가상 음장이 집중되는 위치를 사용자의 위치에 따라 결정함으로써, 스피커 어레이(150)에서 사용자의 위치에 최적화된 가상 음장이 재현되도록 할 수 있다.That is, the audio
도 3은 본 발명의 일실시예에 따라 변환된 오디오 신호가 7.1 채널 스피커 환경에서 출력되는 일례이다.3 is an example in which an audio signal converted according to an embodiment of the present invention is output in a 7.1-channel speaker environment.
출력 스피커 포맷이 C(center) 채널(310), R(right) 채널(320), RS(right side) 채널(330), RB(right back) 채널(340), LB(left back) 채널(350), LS(left side) 채널(360), 및 L(left) 채널(370)로 구성된 7.1 채널일 수 있다. 그리고, 각각의 채널에 대응하는 스피커가 출력하는 출력 오디오 신호는 가상 음장을 생성할 수 있다. The output speaker format is C (center)
이때, 오디오 신호 변환 장치(100)는 도 2에 도시된 바와 같이 사용자(300)의 위치에 따라 스피커가 출력하는 출력 오디오 신호에 의하여 생성되는 가상 음장의 위치를 변경할 수 있다.In this case, the audio
사용자(300)가 7.1 채널 스피커 환경이 설치된 공간의 왼쪽에 위치한 경우, 오디오 신호 변환 장치(100)는 입력 오디오 신호를 케이스 1(Case 1)에 도시된 바와 같이 사용자(300)의 위치에 가상 음장이 집중되도록 하는 출력 오디오 신호로 변환할 수 있다.When the
또한, 사용자(300)가 7.1 채널 스피커 환경이 설치된 공간의 오른쪽에 위치한 경우, 오디오 신호 변환 장치(100)는 입력 오디오 신호를 케이스 2(Case 2)에 도시된 바와 같이 사용자(300)의 위치에 가상 음장이 집중되도록 하는 출력 오디오 신호로 변환할 수 있다.In addition, when the
도 4는 본 발명의 제1 실시예에 따른 프로세서를 나타내는 도면이다.4 is a diagram illustrating a processor according to a first embodiment of the present invention.
프로세서(120)는 도 4에 도시된 바와 같이 입력 오디오 포맷 결정부(410), 출력 스피커 포맷 결정부(420), 사용자 위치 추정부(430), 및 오디오 포맷 변환부(440)를 포함할 수 있다.The
입력 오디오 포맷 결정부(410)는 입력 오디오 신호나 입력 오디오 신호의 헤더 정보나 비트스트림을 분석하여 입력 오디오 포맷을 결정할 수 있다. 또한, 입력 오디오 포맷 결정부(410)는 사용자로부터 선택된 오디오 포맷을 입력 오디오 포맷으로 결정할 수 있다. 그리고, 입력 오디오 신호가 압축 부호화된 비트스트림인 경우, 입력 오디오 포맷 결정부(410)는 입력 오디오 신호를 복호화하여 오디오 포맷 변환부(440)에 전달할 수 있다.The input
출력 스피커 포맷 결정부(420)는 사용자로부터 입력 받은 스피커의 위치, 또는 복수의 출력 스피커 포맷들 중 사용자에게 선택된 출력 스피커 포맷을 이용하여 출력 오디오 신호를 출력하는 스피커들의 위치를 추정할 수 있다. 또한, 출력 스피커 포맷 결정부(420)는 청취 공간에 위치한 마이크로폰 또는 마이크로폰 어레이 신호를 분석하여 스피커들의 위치를 추정할 수 있다.The output
사용자 위치 추정부(430)는 사용자로부터 입력 받은 위치, 또는 GUI 인터페이스 등과 같은 사용자 인터페이스를 통하여 사용자에게 선택된 위치를 기초로 사용자의 위치를 추정할 수 있다. 또한, 사용자 위치 추정부(430)는 사용자의 위치에 설치된 마이크로폰 또는, 사용자가 보유하고 있는 단말에 구비된 마이크로폰으로 수집한 정보를 분석하여 사용자의 위치를 추정할 수 있다. 예를 들어, 마이크로폰으로 수집한 정보는 스피커에서 출력된 오디오 신호일 수 있다. 그리고, 사용자 위치 추정부(430)는 GPS, 무선 Access point 정보, 영상 정보 중 적어도 하나를 마이크로폰으로 수집한 정보와 함께 사용하여 사용자의 위치를 추정할 수 있다. The
또한, 사용자 위치 추정부(430)는 추정한 사용자의 위치를 기초로 스윗 스팟 중심점을 결정할 수 있다. 이때, 사용자 위치 추정부(430)가 결정하는 스윗 스팟 중심점과 크기는 사용자의 선택에 따라 이동되거나 변화될 수 있다. Also, the
오디오 포맷 변환부(440)는 스윗 스팟 위치에서 최적 음향이 재현될 수 있도록 입력 오디오 신호를 출력 스피커 포맷에 맞게 출력 오디오 신호로 변환할 수 있다. The
이때, 오디오 포맷 변환부(440)는 채널 수를 변화시키는 업믹스 또는 다운믹스 과정뿐만 아니라 출력 스피커 포맷을 활용하여 입력 오디오 포맷이 가지고 있는 음질 및 음장감을 최대한 유지할 수 있도록 하는 일련의 필터링 또는 렌더링 과정을 수행하여 입력 오디오 신호를 출력 오디오 신호로 변환할 수 있다.At this time, the
또한, 출력 스피커 포맷이 사운드바와 같은 스피커어레이인 경우, 오디오 포맷 변환부(440)는 WFS, 빔포밍 기법을 이용하여 가상 음장을 형성하는 프로세싱을 수행하여 입력 오디오 신호를 출력 오디오 신호로 변환할 수 있다.In addition, when the output speaker format is a speaker array such as a sound bar, the
그리고, 입력 오디오 포맷의 채널 개수보다 출력 스피커 포맷의 스피커 개수가 많은 경우, 오디오 포맷 변환부(440)는 입력 오디오 신호를 분석하거나 음원과 배경음을 추출하여 출력 스피커 포맷에 맞게 변환할 수 있다.In addition, when the number of speakers in the output speaker format is greater than the number of channels in the input audio format, the
도 5는 본 발명의 제2 실시예에 따른 프로세서를 나타내는 도면이다.5 is a diagram illustrating a processor according to a second embodiment of the present invention.
프로세서(120)는 도 5에 도시된 바와 같이 입력 오디오 포맷 결정부(510), 출력 스피커 포맷 결정부(520), 오디오 포맷 변환부(530), 사용자 위치 추정부(540), 스윗 스팟 영역 결정부(550) 및 최적 음장 생성부(560)를 포함할 수 있다.As shown in FIG. 5 , the
입력 오디오 포맷 결정부(510)는 입력 오디오 신호나 입력 오디오 신호의 헤더 정보나 비트스트림을 분석하여 입력 오디오 포맷을 결정할 수 있다. 또한, 입력 오디오 포맷 결정부(510)는 사용자로부터 선택된 오디오 포맷을 입력 오디오 포맷으로 결정할 수 있다. 그리고, 입력 오디오 신호가 압축 부호화된 비트스트림인 경우, 입력 오디오 포맷 결정부(510)는 입력 오디오 신호를 복호화하여 오디오 포맷 변환부(530)에 전달할 수 있다.The input
출력 스피커 포맷 결정부(520)는 사용자로부터 입력 받은 스피커의 위치, 또는 복수의 출력 스피커 포맷들 중 사용자에게 선택된 출력 스피커 포맷을 이용하여 출력 오디오 신호를 출력하는 스피커들의 위치를 추정할 수 있다. 또한, 출력 스피커 포맷 결정부(520)는 청취 공간에 위치한 마이크로폰 또는 마이크로폰 어레이 신호를 분석하여 스피커들의 위치를 추정할 수 있다.The output
오디오 포맷 변환부(530)는 출력 스피커 포맷에 따라 입력 오디오 신호를 출력 오디오 신호로 변환할 수 있다. 이때, 오디오 포맷 변환부(530)는 채널 수를 변화시키는 업믹스 또는 다운믹스 과정뿐만 아니라 출력 스피커 포맷을 활용하여 입력 오디오 포맷이 가지고 있는 음질 및 음장감을 최대한 유지할 수 있도록 하는 일련의 필터링 또는 렌더링 과정을 수행하여 입력 오디오 신호를 출력 오디오 신호로 변환할 수 있다.The
또한, 출력 스피커 포맷이 사운드바와 같은 스피커어레이인 경우, 오디오 포맷 변환부(440)는 WFS, 빔포밍 기법을 이용하여 가상 음장을 형성하는 프로세싱을 수행하여 입력 오디오 신호를 출력 오디오 신호로 변환할 수 있다.In addition, when the output speaker format is a speaker array such as a sound bar, the
그리고, 입력 오디오 포맷의 채널 개수보다 출력 포맷의 스피커 개수가 많은 경우, 오디오 포맷 변환부(440)는 입력 오디오 신호를 분석하거나 음원과 배경음을 추출하여 출력 스피커 포맷에 맞게 변환할 수 있다.In addition, when the number of speakers in the output format is greater than the number of channels in the input audio format, the
사용자 위치 추정부(540)는 사용자로부터 입력 받은 위치, 또는 GUI 인터페이스 등과 같은 사용자 인터페이스를 통하여 사용자에게 선택된 위치를 기초로 사용자의 위치를 추정할 수 있다. The
또한, 출력 스피커 포맷 결정부(520)에서 스피커들의 위치를 추정하는 과정 및 사용자 위치 추정부(430)에서 사용자의 위치를 추정하는 과정은 사용자의 위치에 설치된 마이크로폰 또는, 사용자가 보유하고 있는 단말에 구비된 마이크로폰으로 녹음한 음향 신호를 이용하여 수행될 수 있다. 이때, 음향 신호는 출력 스피커가 출력하는 음향 신호일 수 있다. 또한, 출력 스피커 포맷 결정부(520)에서 스피커들의 위치를 추정하는 과정 및 사용자 위치 추정부(430)에서 사용자의 위치를 추정하는 과정은 GPS, 무선 Access point 정보, 영상 정보 중 적어도 하나를 마이크로폰으로 수집한 음향 정보와 함께 사용하여 사용자의 위치를 추정할 수 있다.In addition, the process of estimating the positions of the speakers in the output
스윗 스팟 영역 결정부(550)는 사용자 위치 추정부(540)가 추정한 사용자의 위치를 기초로 스윗 스팟 중심점을 결정할 수 있다. 이때, 스윗 스팟 영역 결정부(550)가 결정하는 스윗 스팟 중심점과 크기는 사용자의 선택에 따라 이동되거나 변화될 수 있다. 또한, 스윗 스팟 영역 결정부(550)는 출력 스피커 포맷 결정부(520)가 결정한 출력 스피커 포맷 정보를 참고하여 스윗 스팟의 중심점과 영역을 결정할 수 있다.The sweet
최적 음장 생성부(560)는 오디오 포맷 변환부(530)에서 출력 스피커 포맷에 따라 입력 오디오 신호를 변환한 출력 오디오 신호를 스윗 스팟 영역 결정부(550)에서 결정된 스윗 스팟 영역에서 최적 음장이 형성되도록 변환하여 출력할 수 있다.The optimal
도 6은 본 발명의 제1 실시예에 따른 오디오 신호 변환 방법을 도시한 플로우차트이다.6 is a flowchart illustrating an audio signal conversion method according to the first embodiment of the present invention.
단계(610)에서 프로세서(120)는 입력 오디오 신호나 입력 오디오 신호의 헤더 정보나 비트스트림을 분석하여 입력 오디오 포맷을 결정할 수 있다. 또한, 프로세서(120)는 사용자로부터 선택된 오디오 포맷을 입력 오디오 포맷으로 결정할 수 있다. In
단계(620)에서 프로세서(120)는 사용자로부터 입력 받은 스피커의 위치, 또는 청취 공간에 위치한 마이크로폰 또는 마이크로폰 어레이 신호를 분석하여 스피커들의 위치를 추정할 수 있다.In
단계(630)에서 프로세서(120)는 단계(620)에서 추정한 스피커들의 위치를 기초로 출력 스피커 포맷을 결정할 수 있다. 또한, 사용자가 복수의 출력 스피커 포맷들 중 하나를 선택한 경우, 프로세서(120)는 단계(620)을 패스하고, 사용자에게 선택된 출력 스피커 포맷을 출력 스피커 포맷으로 결정할 수 있다.In
단계(640)에서 프로세서(120)는 사용자로부터 입력 받은 위치, 또는 GUI 인터페이스 등과 같은 사용자 인터페이스를 통하여 사용자에게 선택된 위치를 기초로 사용자의 위치를 추정할 수 있다. 그리고, 프로세서(120)는 추정한 사용자의 위치를 기초로 스윗 스팟 중심점을 결정할 수 있다. In
단계(650)에서 오디오 포맷 변환부(440)는 단계(640)에서 결정한 스윗 스팟 위치에서 최적 음향이 재현될 수 있도록 입력 오디오 신호를 출력 스피커 포맷에 맞게 출력 오디오 신호로 변환할 수 있다. In
단계(660)에서 송신기(130)는 단계(650)에서 변환된 출력 오디오 신호를 스피커로 출력할 수 있다.In
도 7은 본 발명의 제2 실시예에 따른 오디오 신호 변환 방법을 도시한 플로우차트이다.7 is a flowchart illustrating an audio signal conversion method according to a second embodiment of the present invention.
단계(710)에서 프로세서(120)는 입력 오디오 신호나 입력 오디오 신호의 헤더 정보나 비트스트림을 분석하여 입력 오디오 포맷을 결정할 수 있다. 또한, 입력 오디오 포맷 결정부(510)는 사용자로부터 선택된 오디오 포맷을 입력 오디오 포맷으로 결정할 수 있다. In
단계(720)에서 프로세서(120)는 사용자로부터 입력 받은 스피커의 위치, 또는 복수의 출력 스피커 포맷들 중 사용자에게 선택된 출력 스피커 포맷을 이용하여 출력 오디오 신호를 출력하는 스피커들의 위치를 추정할 수 있다. 또한, 출력 스피커 포맷 결정부(520)는 청취 공간에 위치한 마이크로폰 또는 마이크로폰 어레이 신호를 분석하여 스피커들의 위치를 추정할 수 있다. 그리고, 프로세서(120)는 추정한 스피커들의 위치를 기초로 출력 스피커 포맷을 결정할 수 있다.In
단계(730)에서 프로세서(120)는 출력 스피커 포맷에 따라 입력 오디오 신호를 출력 오디오 신호로 변환할 수 있다. 이때, 오디오 포맷 변환부(530)는 채널 수를 변화시키는 업믹스 또는 다운믹스 과정뿐만 아니라 출력 스피커 포맷을 활용하여 입력 오디오 포맷이 가지고 있는 음질 및 음장감을 최대한 유지할 수 있도록 하는 일련의 필터링 또는 렌더링 과정을 수행하여 입력 오디오 신호를 출력 오디오 신호로 변환할 수 있다.In
단계(740)에서 프로세서(120)는 사용자로부터 입력 받은 위치, 또는 GUI 인터페이스 등과 같은 사용자 인터페이스를 통하여 사용자에게 선택된 위치를 기초로 사용자의 위치를 추정할 수 있다. In
단계(750)에서 프로세서(120)는 추정한 사용자의 위치를 기초로 스윗 스팟 중심점을 결정할 수 있다. 이때, 프로세서(120)가 결정하는 스윗 스팟 중심점과 크기는 사용자의 선택에 따라 이동되거나 변화될 수 있다. 또한, 프로세서(120)는 단계(720)에서 결정된 출력 스피커 포맷 정보를 참고하여 스윗 스팟의 중심점과 영역을 결정할 수 있다.In
단계(760)에서 프로세서(120)는 단계(730)에서 입력 오디오 신호를 변환한 출력 오디오 신호를 단계(750)에서 결정된 스윗 스팟 영역에서 최적 음장이 형성되도록 변환할 수 있다.In
단계(770)에서 송신기(130)는 단계(760)에서 변환된 출력 오디오 신호를 스피커로 출력할 수 있다. In
본 발명은 출력 오디오 신호를 청취하는 사용자의 위치 및 출력 오디오 신호를 출력하는 스피커의 위치에 따라 입력 오디오 신호를 변환함으로써, 사용자의 오디오 시스템에 최적화된 음장을 재현할 수 있다.According to the present invention, a sound field optimized for the user's audio system can be reproduced by converting the input audio signal according to the position of the user who listens to the output audio signal and the position of the speaker that outputs the output audio signal.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and carry out program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, although the present invention has been described with reference to limited embodiments and drawings, the present invention is not limited to the above embodiments, and various modifications and variations from these descriptions are provided by those skilled in the art to which the present invention pertains. This is possible.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, and should be defined by the following claims as well as the claims and equivalents.
120: 프로세서
130: 송신기120: processor
130: transmitter
Claims (1)
스피커들의 위치를 기초로 출력 스피커 포맷을 결정하는 단계;
상기 입력 오디오 포맷으로부터 출력 스피커 포맷을 변환하는 단계; 및
상기 출력 스피커 포맷에 기초하여 렌더링하는 단계
를 포함하고,
상기 변환하는 단계는,
상기 입력 오디오 신호의 포맷과 상기 출력 스피커 포맷이 다른 경우에, 상기 출력 스피커 포맷을 고려하여 입력 오디오 신호를 변환하고,
상기 스피커의 위치는,
사용자로부터 입력받은 위치 또는 상기 사용자에 의해 선택된 위치를 통해 식별되는 오디오 신호 변환 방법.identifying an input audio format;
determining an output speaker format based on the positions of the speakers;
converting an output speaker format from the input audio format; and
rendering based on the output speaker format;
including,
The converting step is
When the format of the input audio signal and the output speaker format are different, converting the input audio signal in consideration of the output speaker format;
The location of the speaker is
An audio signal conversion method identified through a location input from a user or a location selected by the user.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210130107A KR102455549B1 (en) | 2014-05-09 | 2021-09-30 | Apparatus and method for transforming audio signal using location of the user and the speaker |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20140055530 | 2014-05-09 | ||
KR1020140055530 | 2014-05-09 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210130107A Division KR102455549B1 (en) | 2014-05-09 | 2021-09-30 | Apparatus and method for transforming audio signal using location of the user and the speaker |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20150128616A KR20150128616A (en) | 2015-11-18 |
KR102310240B1 true KR102310240B1 (en) | 2021-10-08 |
Family
ID=54839119
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150064632A KR102310240B1 (en) | 2014-05-09 | 2015-05-08 | Apparatus and method for transforming audio signal using location of the user and the speaker |
KR1020210130107A KR102455549B1 (en) | 2014-05-09 | 2021-09-30 | Apparatus and method for transforming audio signal using location of the user and the speaker |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210130107A KR102455549B1 (en) | 2014-05-09 | 2021-09-30 | Apparatus and method for transforming audio signal using location of the user and the speaker |
Country Status (1)
Country | Link |
---|---|
KR (2) | KR102310240B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11659331B2 (en) * | 2021-01-22 | 2023-05-23 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for audio balance adjustment |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007081928A (en) * | 2005-09-15 | 2007-03-29 | Yamaha Corp | Av amplifier apparatus |
JP2014003493A (en) * | 2012-06-19 | 2014-01-09 | Sharp Corp | Voice control device, voice reproduction device, television receiver, voice control method, program and storage medium |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2452348T3 (en) * | 2007-04-26 | 2014-04-01 | Dolby International Ab | Apparatus and procedure for synthesizing an output signal |
KR20120038891A (en) * | 2010-10-14 | 2012-04-24 | 삼성전자주식회사 | Audio system and down mixing method of audio signals using thereof |
-
2015
- 2015-05-08 KR KR1020150064632A patent/KR102310240B1/en active IP Right Grant
-
2021
- 2021-09-30 KR KR1020210130107A patent/KR102455549B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007081928A (en) * | 2005-09-15 | 2007-03-29 | Yamaha Corp | Av amplifier apparatus |
JP2014003493A (en) * | 2012-06-19 | 2014-01-09 | Sharp Corp | Voice control device, voice reproduction device, television receiver, voice control method, program and storage medium |
Also Published As
Publication number | Publication date |
---|---|
KR20150128616A (en) | 2015-11-18 |
KR102455549B1 (en) | 2022-10-18 |
KR20210124943A (en) | 2021-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111316354B (en) | Determination of target spatial audio parameters and associated spatial audio playback | |
KR102653560B1 (en) | Processing appratus mulit-channel and method for audio signals | |
US9361898B2 (en) | Three-dimensional sound compression and over-the-air-transmission during a call | |
EP3079379B1 (en) | Method and apparatus for reproducing three-dimensional audio | |
KR102322104B1 (en) | Audio signal procsessing apparatus and method for sound bar | |
US11924627B2 (en) | Ambience audio representation and associated rendering | |
US9462405B2 (en) | Apparatus and method for generating panoramic sound | |
IL266580A (en) | Method and apparatus for adaptive control of decorrelation filters | |
KR102455549B1 (en) | Apparatus and method for transforming audio signal using location of the user and the speaker | |
JP6382965B2 (en) | Audio signal rendering method and apparatus | |
US20200053461A1 (en) | Audio signal processing device and audio signal processing system | |
KR101516644B1 (en) | Method for Localization of Sound Source and Detachment of Mixed Sound Sources for Applying Virtual Speaker | |
JP5552764B2 (en) | Signal processing apparatus and program | |
KR102421292B1 (en) | System and method for reproducing audio object signal | |
KR20140025268A (en) | System and method for reappearing sound field using sound bar | |
KR102161157B1 (en) | Method and apparatus for processing audio signal | |
JP6017352B2 (en) | Audio signal conversion apparatus and method | |
JP7167995B2 (en) | Audio device and audio signal output method | |
KR101090962B1 (en) | Audio up-mixing apparatus and method | |
KR102531634B1 (en) | Audio apparatus and method of controlling the same | |
JP6630599B2 (en) | Upmix device and program | |
JP6306958B2 (en) | Acoustic signal conversion device, acoustic signal conversion method, and acoustic signal conversion program | |
KR20120068525A (en) | Apparatus and method for down mixing of wave field synthesis signal | |
KR20110102719A (en) | Audio up-mixing apparatus and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |