KR101155611B1 - 음원 위치 산출 장치 및 그 방법 - Google Patents

음원 위치 산출 장치 및 그 방법 Download PDF

Info

Publication number
KR101155611B1
KR101155611B1 KR1020100040845A KR20100040845A KR101155611B1 KR 101155611 B1 KR101155611 B1 KR 101155611B1 KR 1020100040845 A KR1020100040845 A KR 1020100040845A KR 20100040845 A KR20100040845 A KR 20100040845A KR 101155611 B1 KR101155611 B1 KR 101155611B1
Authority
KR
South Korea
Prior art keywords
sound source
sound
audio data
source position
microphones
Prior art date
Application number
KR1020100040845A
Other languages
English (en)
Other versions
KR20110121304A (ko
Inventor
박민수
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to KR1020100040845A priority Critical patent/KR101155611B1/ko
Publication of KR20110121304A publication Critical patent/KR20110121304A/ko
Application granted granted Critical
Publication of KR101155611B1 publication Critical patent/KR101155611B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Studio Devices (AREA)

Abstract

음원 위치 산출 장치는, 소리가 발생한 음원의 위치를 측정하는 관련된 정보인 음원 위치 관련 정보가 헤더에 기록되어 있고 음원으로부터 발생한 소리를 포함하는 오디오 데이터가 페이로드에 기록된 오디오 데이터부를 포함하는 파일을 수신하고, 수신된 파일로부터 음원 위치 관련 정보를 추출한다. 그리고 추출된 음원 위치 관련 정보를 토대로 음원 위치를 산출한다.

Description

음원 위치 산출 장치 및 그 방법{apparatus for calculating sound source location and method thereof}
본 발명은 음원 위치를 산출하는 장치 및 그 방법에 관한 것이다.
동영상 저장 및 재생에 사용되는 동영상 파일은 영상 데이터 및 오디오 데이터와 이에 관련된 각종 정보로 이루어진 부가 데이터를 포함한다. 이러한 동영상 파일은 일반적으로 미디어 컨테이너 파일 형태로 이루어지며, 미디어 컨테이너 파일은 압축된 영상 데이터 또는 오디오 데이터를 컨테이너 파일에 저장한다. 또는 동영상 파일은 미디어 컨테이너 없이 영상 데이터와 오디오 데이터 그리고 메타 데이터 등의 부가 데이터를 계층별로 오버레이(overlay) 하기도 한다.
부가 데이터에는 일반적으로 동영상 파일에 저장된 영상 데이터나 오디오 데이터에 관련된 각종 부가 정보를 포함한다. 예를 들어, 동영상 파일이 인터넷 상의 소정 사이트로부터 제공되는 경우에는 부가 데이터에 해당 동영상이 위치하고 있는 URL 정보, 저작권, 제목, 파일의 크기, 파일 형태 등이 포함된다.
동영상 파일은 AVI(audio video interleaved), MOV(moving), MPG/MPEG(moving picture experts group), ASF(advanced streaming format) 등과 같은 다양한 포맷으로 이루어지며, ISO/IEC 국제 표준에 따라 압축되어 데이터 전송 효율의 극대화를 도모한다.
본 발명이 해결하고자 하는 과제는 음원 위치 관련 정보를 토대로 소리를 발생하는 음원의 위치를 산출하기 위한 것이다.
본 발명의 과제를 위한 본 발명의 특징에 따른 음원 위치 산출 방법은, 기록매체로부터 로드되거나 외부로부터 수신되는 데이터로부터 음원 위치 관련 정보를 추출하는 단계; 및 상기 음원 위치 관련 정보를 토대로 음원 위치를 산출하는 단계를 포함한다.
여기서 상기 음원 위치 관련 정보는 소리를 측정하는 마이크로폰들의 개수, 마이크로폰들 사이의 거리, 소리를 획득하는데 사용된 마이크로폰들의 위치에 관련된 기준 좌표, 마이크로폰들의 각도, 소리 속도 결정 정보 중 적어도 하나를 포함한다.
또한 상기 추출하는 단계는 기록매체로부터 로드되거나 외부로부터 전송되며, 소리가 발생한 음원의 위치를 측정하는데 관련된 정보인 음원 위치 관련 정보와 상기 소리에 해당하는 오디오 데이터를 포함하는 오디오 데이터부를 포함하는 파일을 수신하는 단계; 및 상기 수신된 상기 파일의 오디오 데이터부로부터 상기 음원 위치 관련 정보를 추출하는 단계를 포함할 수 있다.
이 경우, 상기 산출하는 단계는 상기 파일의 오디오 데이터부로부터 채널별 오디오 데이터를 추출하고 추출되는 오디오 데이터들간의 시간 차이인 소리 시간 지연차들을 측정하는 단계; 상기 음원 위치 관련 정보로부터 포함되어 있거나 미리 설정되어 있는 기준 좌표를 토대로 상기 마이크로폰들의 위치 좌표를 획득하는 단계; 및 상기 측정된 소리 시간 지연차들과 마이크로폰들의 위치 좌표를 이용하여 음원 위치를 산출하는 단계를 포함할 수 있다.
또한 상기 산출하는 단계는 상기 파일의 오디오 데이터부로부터 채널별 오디오 데이터를 추출하고 추출되는 오디오 데이터들의 세기를 측정하고, 측정된 오디오 데이터들의 세기를 토대로 채널별 오디오 데이터들의 신호 세기차를 측정하는 단계; 상기 채널별 오디오 데이터들의 신호 세기차들을 토대로 각 마이크폰들과 음원 사이의 거리를 산출하는 단계; 상기 소리를 획득하는데 사용된 마이크로폰들의 위치에 관련된 기준 좌표를 토대로 상기 마이크로폰들의 위치 좌표를 획득하는 단계; 및 상기 마이크로폰들과 음원 사이의 거리들과 마이크로폰들의 위치 좌표를 이용하여 음원 위치를 산출하는 단계를 포함할 수 있다.
본 발명의 다른 특징에 따른 음원 위치 산출 장치는, 기록매체로부터 로드되거나 외부로부터 전송되며, 소리가 발생한 음원의 위치를 측정하는데 관련된 정보인 음원 위치 관련 정보를 포함하는 데이터를 제공받는 수신부; 상기 수신부의 데이터로부터 상기 음원 위치 관련 정보를 추출하는 정보 추출부; 상기 추출된 음원 위치 관련 정보를 토대로 음원 위치를 산출하는 연산부; 및 상기 산출된 음원 위치를 출력하는 위치 출력부를 포함하며, 상기 음원 위치 관련 정보는 소리를 측정하는 마이크로폰들의 개수, 마이크로폰들 사이의 거리, 소리를 획득하는데 사용된 마이크로폰들의 위치에 관련된 기준 좌표, 마이크로폰들의 각도, 소리 속도 결정 정보 중 적어도 하나를 포함한다.
한편 본 발명의 특징에 따른 음원 위치 관련 정보는 마이크로폰과 채널의 매칭 정보를 더 포함할 수 있으며, 이 매칭 정보를 이용하여 상기 채널별로 추출될 오디오 데이터가 어떤 마이크로폰에 대응하는지를 확인할 수 있다.
본 발명의 실시 예에 따르면, 유선 또는 무선 네트워크를 통하여 전송되는 동영상 파일에 포함된 음원 위치 관련 정보를 토대로 음원 위치를 산출할 수 있으며, 특히 파일을 구성하는 영상 프레임별로 소리가 발생되는 음원의 위치를 효과적으로 파악할 수 있다.
또한 동영상 파일에 포함되어 있는 음원 위치에 관련된 정보와 오디오 데이터를 토대로 음원의 위치를 측정할 수 있다. 또한 측정된 음원 위치를 동영상 재생시 별도로 표시하거나 오디오 등의 다양한 형태로 출력함으로써, 재생되는 영상 데이터의 식별이 용이하지 않는 경우에도 소리를 발생한 음원의 위치를 용이하게 알 수 있다.
도1은 본 발명의 실시 예에 따른 동영상 파일의 구조도이다.
도2는 본 발명의 실시 예에 따른 동영상 파일 생성 장치의 구조도이다.
도3은 본 발명의 실시 예에 따른 동영상 파일 생성 장치가 음원 위치 관련 정보 및 카메라 촬영 정보를 획득하는 경로를 나타낸 예시도이다.
도4는 본 발명의 실시 예에 따른 동영상 파일 생성 장치가 음원 위치 관련 정보 및 카메라 촬영 정보를 획득하는 다른 경로를 나타낸 예시도이다.
도5는 본 발명의 실시 예에 따른 동영상 파일 생성 방법의 흐름도이다.
도6은 본 발명의 실시 예에 따른 음원 위치 관련 정보와 카메라 촬영 정보를 데이터부의 헤더에 매핑하여 동영상 파일을 생성하는 과정을 나타낸 도이다.
도7은 본 발명의 실시 예에 따른 음원 위치 산출 장치의 구조도이다.
도8은 도7에 도시된 연산부의 구조를 나타낸 예시도이다.
도9는 본 발명의 실시 예에 따른 음원 위치 산출 방법의 흐름도이다.
도10은 본 발명의 실시 예에서, 마이크로폰과 음원 사이의 거리를 산출하는 경우를 나타낸 예시도이다.
도11은 본 발명의 실시 예에 따른 동영상 파일에 기록된 오디오 데이터부를 이용하여 음원 위치를 산출하는 것을 나타낸 예시도이다.
도12는 본 발명의 다른 실시 예에 따른 음원 위치 산출 장치의 연산부의 구조를 나타낸 예시도이다.
도13은 본 발명의 다른 실시 예에 따른 음원 위치 산출 방법의 흐름도이다.
도14는 본 발명의 다른 실시 예에 따른 동영상 파일에 기록된 오디오 데이터부를 이용하여 음원 위치를 산출하는 것을 나타낸 예시도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 도면을 참조하여 본 발명의 실시 예에 따른 음원 위치 관련 정보를 포함하는 동영상 파일 생성 장치 및 그 방법에 대하여 설명한다.
도1은 본 발명의 실시 예에 따른 음원 위치 관련 정보를 포함한 동영상 파일의 구조를 나타낸 구조도이다.
본 발명의 실시 예에 따른 동영상 파일은 영상 데이터부(F1)와 오디오 데이터부(F2)를 포함하며, 각각의 영상 데이터부(F1) 및 오디오 데이터부(F2)는 각각 헤더(header)(H1, H2) 및 페이로드(payload)(P1, P2)를 포함한다.
헤더(H1, H2)는 고정된 영역을 가지며 예를 들어 32 비트로 이루어진다. 헤더(H1, H2)에는 페이로드(P1, P2)에 포함되는 데이터를 재생하기 위한 정보들이 저장되며, 특히 본 발명의 실시 예에 따른 영상 데이터부(F1)의 헤더(H1)는 카메라 촬영 정보를 포함하며, 오디오 데이터부(F2)의 헤더(H2)는 음원 위치 관련 정보를 포함한다.
영상 데이터부(F1)의 헤더(H1)에서 카메라 촬영 정보를 제외한 나머지 정보들을 설명의 편의상 "영상 관련 정보"라고 명명하며, 오디오 데이터부(F2)의 헤더(H2)에서 음원 위치 관련 정보를 제외한 나머지 정보들을 설명의 편의상 "오디오 관련 정보"라고 명명한다.
영상 관련 정보 및 오디오 관련 정보는 동기를 맞추기 위한 동기(sync) 워드, 계층(layer)과 샘플링 주파수, 남아 있는 프레임과 같은 정보, 또는 저작권 등의 정보를 포함할 수 있다.
본 발명의 실시 예에 따른 음원 위치 관련 정보는 오디오 데이터가 생성된 음원의 위치를 측정하는데 사용된 파라미터에 대한 정보를 포함한다. 구체적으로, 음원으로부터의 신호를 수신하는 수단들 즉, 마이크로폰(microphone)의 개수, 마이크로폰들 사이의 거리, 마이크로폰들의 각도, 기준 좌표, 마이크로폰과 채널의 매칭 정보 중 적어도 하나를 포함한다. 이외에도 소리가 전달되는 속도에 영향을 주는 환경 파라미터(예를 들어, 온도, 습도, 압력 등)에 대한 측정 정보(예를 들어, 음원이 위치된 환경에서의 온도, 또는 습도 또는 압력 등)인 소리 결정 정보를 포함한다.
여기서 마이크로폰들의 각도는 하나의 마이크로폰이 다른 마이크로폰에 대하여 가지는 상대 각도를 나타낸다. 그리고 마이크로폰과 채널의 매칭 정보는 소정 마이크로폰에서 획득된 오디오 데이터가 어떤 채널에 해당하는지를 나타내는 정보이다. 예를 들어, 3개의 마이크로폰이 사용된 경우, 제1마이크로폰은 오디오 데이터부(F2)의 다수 채널별 오디오 데이터 중에서 제1채널에 대응하고, 제2마이크로폰은 제2채널에 대응하며, 제3마이크로폰은 제3채널에 대응함을 나타낼 수 있다. 이러한 마이크로폰들과 채널의 매칭 정보를 토대로 임의 채널의 오디오 데이터가 어떤 마이크로폰으로부터 획득된 것인지를 용이하게 알 수 있다.
기준 좌표는 마이크로폰들의 위치에 관련된 것으로, 마이크로폰들 중에서 하나의 마이크로폰에 대한 위치 좌표일 수 있으며, 또는 이후 동영상 재생시 사용되는 화면 배율을 고려하여 설정되는 좌표일 수 있다. 또는 기준 좌표는 소리를 포함하는 오디오 데이터를 획득하는 마이크로폰들이 하나의 모듈에 포함되는 형태로 구성된 경우, 해당 모듈의 크기를 고려하여 설정되는 좌표일 수 있다. 이와 같이 기준 좌표는 동영상이 재생되거나 오디오 데이터가 획득되거나 영상 데이터가 획득되는 등의 환경을 고려하여 설정될 수 있다.
한편 음원 위치 관련 정보는 오디오 데이터부(F2)에 포함되는 모든 오디오 데이터가 아니라, 오디오 데이터들 중에 설정 주파수 이상의 오디오에 관련된 정보일 수 있다.
또한 본 발명의 실시 예에 따른 카메라 촬영 정보는 영상 데이터를 획득하는데 사용된 촬영 정보로서, 구체적으로 영상 데이터 획득시 사용된 카메라의 픽셀 정보, 카메라의 줌배율 정보, 그리고 카메라의 모션 정보를 포함한다. 여기서 카메라의 모션 정보는 카메라의 렌즈부가 팬 틸트(pan tilt) 또는 시프트(shift) 등의 기능으로 촬영을 위하여 전후 상하 방향으로 움직이는 경우 움직인 방향 및 움직임 정도에 해당하는 정보를 나타낸다.
한편 영상 데이터부(F1)의 페이로드(P1)는 메인 데이터 즉, 영상 데이터를 포함하며, 오디오 데이터부(F2)의 페이로드(P2)는 메인 데이터 즉, 오디오 데이터를 포함한다.
이러한 영상 데이터부(F1) 및 오디오 데이터부(F2)는 CRC(error detection code)를 선택적으로 포함할 수 있으며, CRC는 예를 들어 16 비트로 이루어질 수 있다.
또한 영상 데이터부(F1) 및 오디오 데이터부(F2)는 프레임 단위 구조로 이루어지며, 오디오 데이터부(F2)를 구성하는 오디오 비트열의 한 프레임을 AAU(audio access unit)라고 명명할 수 있다. AAU는 각각 단독으로 복호화할 수 있는 최소 단위이며, 위에 기술된 바와 같이 헤더, CRC, 오디오 데이터를 포함하는 페이로드를 포함하는 구성으로 이루어진다.
다음에는 이러한 구조로 이루어지는 동영상 파일을 생성하는, 본 발명의 실시 예에 따른 동영상 파일 생성 장치의 구조에 대하여 설명한다.
도2는 본 발명의 실시 예에 따른 동영상 파일 생성 장치의 구조도이다.
본 발명의 실시 예에 따른 동영상 파일 생성 장치(1)는 첨부한 도2에 도시되어 있듯이, 음원 위치 정보 획득부(10), 촬영 정보 획득부(20), 영상 데이터 획득부(30), 오디오 데이터 획득부(40), 그리고 동영상 파일의 영상 데이터부를 생성하는 제1 생성부(50), 동영상 파일의 오디오 데이터부를 생성하는 제2 생성부(60), 그리고 영상 데이터부와 오디오 데이터부를 토대로 동영상 파일을 생성하는 제3 생성부(70)를 포함한다. 여기서 제1, 제2, 제3의 표현은 각 생성부(50, 60, 70)를 구별하기 위하여 부가적으로 부여한 명칭이며, 각 생성부를 한정하는 것은 아니다.
음원 위치 정보 획득부(10)는 소리가 발생한 음원의 위치를 측정하는데 관련된 정보인 음원 위치 관련 정보를 획득하며, 촬영 정보 획득부(20)는 영상 데이터 획득에 사용된 카메라 촬영 정보를 제공받는다. 영상 데이터 획득부(30)는 촬영에 따라 생성되는 영상 데이터를 획득하며, 오디오 데이터 획득부(40)는 촬영시 발생한 소리를 포함하는 오디오 데이터를 획득한다.
제1 생성부(50)는 촬영 정보 획득부(20)로부터 전달되는 촬영 정보와 영상 데이터 획득부(40)로부터 전달되는 영상 데이터를 토대로 영상 데이터부(F1)를 생성한다. 제2 생성부(60)는 음원 위치 정보 획득부(10)로부터 전달되는 음원 위치 관련 정보와 오디오 데이터 획득부(40)로부터 전달되는 오디오 데이터를 토대로 오디오 데이터부(F2)를 생성한다. 그리고 제3 생성부(70)는 제1 생성부(50)로부터 전달되는 영상 데이터부(F1)와 제2 생성부(60)로부터 전달되는 오디오 데이터부(F2)를 토대로 동영상 파일을 생성한다.
본 발명의 실시 예에 따른 음원 위치 정보 획득부(10) 및 촬영 정보 획득부(20)는 다양한 경로를 통하여 관련 정보들을 획득할 수 있다.
도3은 본 발명의 실시 예에 따른 동영상 파일 생성 장치가 관련 정보를 획득하는 경로를 나타낸 예시도이다. 여기서는 음원 위치 관련 정보가 마이크로폰 개수, 마이크로폰들 사이의 거리, 마이크로폰들의 각도를 포함한 것으로 예시되어 있지만, 이것에 한정되지는 않는다. 마이크로폰 개수는 오디오 데이터부에 몇 개의 채널에 해당하는 오디오 데이터가 포함되어 있는지를 판단하기 위한 근거로서 사용될 수 있으며, 이외에도 마이크로폰과 채널의 매칭 정보, 기준 좌표, 소리 속도 결정 정보 중 적어도 하나가 더 포함될 수 있다.
첨부한 도 3에 예시되어 있듯이, 음원 위치 정보 획득부(10)는 음원 위치 관련 정보의 일부(예를 들어, 마이크로폰 개수, 마이크로폰들 사이의 거리, 마이크로폰들의 각도 등)를 등록 정보로 하여 미리 저장하여 사용하고, 나머지(예를 들어, 소리 속도 결정 정보)는 입력 장치를 통하여 제공받을 수 있다.
촬영 정보 획득부(20)도 카메라 촬영 정보의 일부(예를 들어, 카메라 픽셀 정보)를 등록 정보로 하여 미리 저장하여 사용하고, 나머지(예를 들어, 카메라 줌배율 정보, 카메라 모션 정보)는 입력 장치를 통하여 제공받을 수 있다.
또는 동영상 파일 생성 장치(1)의 음원 위치 정보 획득부(10) 및 촬영 정보 획득부(20)는 입력 장치를 통하여 음원 위치 관련 정보 및 카메라 촬영 정보를 제공받을 수 있다.
이와는 달리, 음원 위치 정보 획득부(10)는 오디오 데이터를 출력하면서 오디오 데이터가 생성된 음원에 대한 위치를 측정하는 음원 측정 장치로부터 음원 위치 관련 정보를 제공받을 수 있다.
도4는 발명의 실시 예에 따른 동영상 파일 생성 장치(1)가 정보를 획득하는 경로를 나타낸 다른 예시도이다.
첨부한 도4에 예시되어 있듯이, 동영상 파일 생성 장치(1)는 음원 측정 장치(2)로부터 음원 위치 관련 정보 및 오디오 데이터를 제공받을 수 있다.
이 경우 음원 측정 장치(2)는 복수의 마이크로폰(M1, M2, M3, M4, 여기서는 4개의 마이크로폰을 사용한 것을 예로 들었으나, 이러한 개수에 한정되지 않는다)과 복수의 마이크로폰들로부터 출력되는 신호를 입력받아 처리하여 음원 신호를 생성하는 신호 처리부(21), 그리고 음원 신호를 토대로 음원 위치를 측정하는 연산부(22)를 포함하며, 이외에도 동영상 파일 생성 장치(1)로 관련 정보를 제공하는 인터페이스부(23)를 포함한다. 또한 환경 파라미터(예를 들어, 온도, 습도, 압력 등)를 토대로 소리 속도를 결정하는 소리 속도 센서(24)를 더 포함할 수 있다.
각각의 마이크로폰(M1, M2, M3, M4)은 음원으로부터 발생되는 소리를 수신하여 그에 해당하는 전기적인 신호를 출력한다.
신호 처리부(21)는 각각의 마이크로폰으로부터 출력되는 신호를 처리하며, 예를 들어, 마이크로폰으로부터 출력되는 신호를 디지털 신호로 변환하고, 이를 DFT(discrete fourier transform) 또는 FFT(fast fourier transform) 등의 주파수 변환을 하여, 주파수 영역의 신호로 변환한다. 그리고 주파수 영역의 신호들 중에서 설정 주파수 이상의 신호를 검출하여 음원 신호로 출력한다.
연산부(22)는 신호 처리부(21)로부터 출력되는 음원 신호들을 토대로 음원의 위치를 산출한다.
한편 소리 속도 센서(24)는 환경 파라미터를 측정하고 측정된 환경 파라미터 값을 토대로 소리 속도를 결정할 수 있다. 이와는 달리 소리 속도 센서(24)가 환경 파라미터를 측정하고, 연산부(22)가 소리 속도 센서(24)로부터 제공되는 환경 파라미터값을 토대로 소리 속도를 결정할 수도 있다.
신호 처리부(21)는 이러한 소리 속도 센서(24)로부터 출력되는 신호를 처리할 수 있으며, 예를 들어 소리 속도 센서(24)로부터 출력되는 환경 파라미터에 해당하는 신호를 디지털 신호로 변환하여 연산부(22)나 인터페이스부(23)로 제공한다. 여기서 환경 파라미터에 해당하는 신호는 소리 속도 센서(24)에 의하여 측정된 온도 또는 습도 또는 압력에 해당하는 신호일 수 있다. 여기서, 연산부(22)는 신호 처리부(21)를 통하여 전달되는 환경 파라미터에 해당하는 신호를 토대로 현재의 소리 속도를 결정할 수 있다. 소리 속도 결정시 환경 파라미터를 구성하는 다양한 파라미터(온도, 습도, 압력 등)의 다양한 값별로 소리 속도가 대응되어 있는 소리 속도 보정 테이블을 이용할 수 있으며, 또는 별도의 연산 알고리즘을 이용하여 소리 속도를 결정할 수 있다.
이러한 구조로 이루어지는 음원 측정 장치(2)의 인터페이스부(23)는 음원 위치 측정시 사용된 마이크로폰들의 개수, 마이크로폰들의 사이의 거리(예를 들어, M1, M2, M3, M4의 마이크로폰이 사용된 경우, M1과 M2사이의 거리, M2와 M3사이의 거리, M3와 M4사이의 거리, M4와 M1사이의 거리 등), 마이크로폰들의 각도(∠M1, ∠M2, ∠M3, ∠M4)를 포함하는 음원 위치 관련 정보를 동영상 파일 생성 장치(1)로 제공한다.
이외에도 인터페이스부(23)는 소리 속도 센서(24)로부터 측정되고 신호 처리부(21)를 통하여 전달되는 환경 파라미터에 해당하는 신호를 토대로 하는 소리 속도 결정 정보를 동영상 파일 생성 장치(1)로 전달한다. 여기서 소리 속도 결정 정보는 소리 속도에 영향을 주는 소리 속도 센서(24)에 의하여 측정된 환경 파라미터값(온도, 습도, 압력 중 적어도 하나) 그리고 측정된 환경 파라미터값에 따라 결정된 소리 속도(예를 들어, 340M/s) 중 적어도 하나를 포함한다. 또한 인터페이스부(23)는 연산부(22)로부터 제공되거나 또는 신호 처리부(21)로부터 제공되는 음원 신호를 오디오 데이터로 하여 동영상 파일 생성 장치(1)로 제공한다.
동영상 파일 생성 장치(1)는 음원 측정 장치(2) 이외에도 별도의 오디오 데이터 생성 장치(도시하지 않음)로부터 오디오 데이터를 제공받을 수도 있다. 여기서 제공되는 오디오 데이터들은 마이크로폰들 각각에 의하여 출력되는 음원 신호에 대응하는 데이터들이다. 예를 들어 4개의 마이크로폰이 사용된 경우, 각각의 마이크로폰에 대응하는 오디오 데이터들이 채널별로 처리되어, 4개의 채널별 오디오 데이터들이 제공될 수 있다.
한편 음원 측정 장치(2)의 마이크로폰들의 개수, 마이크로폰들의 사이의 거리, 마이크로폰들의 각도들은 미리 설정되어 저장될 수 있으며, 이 경우 인터페이스부(23)는 저장된 이러한 정보들을 읽어서 음원 위치 관련 정보를 생성할 수 있다. 또는 연산부(22)가 음원 신호들이나 별도의 신호를 이용하여 마이크로폰들의 사이의 거리, 마이크로폰들의 각도들을 산출한 경우에, 인터페이스부(23)는 연산부(22)로부터 이러한 정보를 제공받아 음원 위치 관련 정보를 생성할 수 있다.
이러한 음원 측정 장치(2)의 구조는 예시된 것이며, 위에 기술된 것에 한정되지 않는다.
한편, 동영상 파일 생성 장치(1)의 촬영 정보 획득부(20)도 카메라와 같은 촬영 장치(3)로부터 카메라 촬영 정보 및 영상 데이터를 제공받을 수 있다. 이러한 촬영 장치(3)의 구조는 이미 공지된 기술임으로 여기서는 상세한 설명을 생략한다. 촬영 장치(3)는 일반적으로 렌즈를 사용하면서 렌즈의 배율을 가변시키는 줌(zoom) 동작, 렌즈의 방향을 변경하는 팬 틸트 동작 및 시프트 동작을 수행하면서 촬영을 하게 된다. 촬영 장치(3)는 이와 같이 각 프레임별 영상 데이터를 촬영시 사용된 줌배율, 픽셀 정보, 팬 틸트 또는 시프트 동작에 따른 카메라 모션 정보 중 적어도 하나를 동영상 파일 생성 장치(1)로 제공한다.
다음에는 이러한 장치들을 토대로 동영상 파일을 생성하는 방법에 대하여 설명한다.
도 5는 본 발명의 실시 예에 따른 동영상 파일 생성 방법의 흐름도이다. 도5에 도시된 흐름은 단지 예시된 것이며, 본 발명의 실시 예에 따른 동영상 파일 생성 과정이 이하에 기술되는 흐름에 한정되는 것은 아니다.
먼저, 첨부한 도 5에 도시되어 있듯이, 본 발명의 실시 예에 따른 동영상 파일 생성 장치(1)는 영상 데이터부(F1)를 생성하는 경우, 영상 데이터부(F1)를 구성하는 헤더(H1)를 생성하고(S100), 헤더(H1)에 기록할 정보를 획득한다. 즉, 영상 데이터 획득시 사용된 촬영 장치 즉, 카메라의 픽셀 정보, 카메라의 렌즈의 줌배율 정보, 카메라의 렌즈의 이동에 따른 모션 정보를 획득하고(S110~S130), 획득된 정보들을 포함하는 카메라 촬영 정보를 영상 데이터부(F1)의 헤더(H1)에 기록한다(S140). 물론 이 경우 영상 데이터에 관련된 영상 관련 정보도 헤더(H1)에 기록된다. 그리고 동영상 파일 생성 장치(1)는 영상 데이터를 획득하고 이를 영상 데이터부(F1)의 페이로드(P1)에 기록한다(S150~S160).
또한 동영상 파일 생성 장치(1)는 오디오 데이터부(F2)를 생성하는 경우, 오디오 데이터부(F2)를 구성하는 헤더(H2)를 생성하고(S170), 헤더(H2)에 기록할 정보를 획득한다. 즉, 오디오 데이터 획득시 사용된 마이크로폰들의 개수, 마이크로폰들간의 거리, 마이크로폰들의 각도, 그리고 오디오 데이터 획득시에 측정된 환경 파라미터에 대응하는 소리 속도 결정 정보를 획득하고(S180~S210), 획득된 정보들을 포함하는 음원 위치 관련 정보를 오디오 데이터부(F2)의 헤더(H2)에 기록한다(S220). 물론 이 경우 오디오 데이터에 관련된 오디오 관련 정보도 헤더(H2)에 기록되며, 기준 좌표, 마이크로폰과 채널의 매칭 정보 중 적어도 하나가 헤더(H2)에 기록될 수 있다. 그리고 동영상 파일 생성 장치(1)는 오디오 데이터를 획득하고 이를 오디오 데이터부(F2)의 페이로드(P2)에 기록한다(S230~S240).
도6은 본 발명의 실시 예에 따른 음원 측정 장치(2) 및 촬영 장치(3)로부터 획득되는 정보와, 이러한 정보를 각 데이터부의 헤더에 기록하는 과정이 예시되어 있다.
도6에 예시된 바와 같이, 음원 측정 장치(2)를 구성하는 마이크로폰들(M1, M2, M3, M4)로부터 발생된 음원 신호에 대응하는 오디오 데이터들이 다수의 채널별로 분류되어 동영상 파일 생성 장치(1)로 제공되며, 이러한 오디오 데이터가 오디오 데이터부의 페이로드에 기록된다. 그리고 마이크로폰들의 개수, 마이크로폰들의 거리(L12, L23, L34, L41), 마이크로폰들의 각도(∠M1, ∠M2, ∠M3, ∠M4)가 오디오 데이터부의 헤더에 기록된다. 또한 온도, 습도, 압력 중 적어도 하나의 환경 파라미터에 대응하는 값 그리고 환경 파라미터를 토대로 결정된 소리 속도 중 적어도 하나를 포함하는 소리 속도 결정 정보가 헤더에 기록된다. 이러한 환경 파라미터는 온도, 습도, 압력 이외에, 별도로 환경 상태를 나타내는 기타 정보가 더 추가될 수도 있다.
또한 카메라와 같은 촬영 장치에 의하여 영상 데이터가 획득되면서, 이러한 영상 데이터 획득시 사용된 카메라 촬영 정보가 동영상 파일 생성 장치(1)로 제공되며, 동영상 파일 생성 장치(1)는 영상 데이터를 페이로드에 기록하고 카메라 촬영 정보를 헤더에 기록한다.
이와 같이 획득되는 카메라 촬영 정보 및 음원 위치 관련 정보를 각각 포함하는 영상 데이터부(F1)와 오디오 데이터부(F2)를 생성한 다음에, 동영상 파일 생성 장치(1)는 영상 데이터부(F1)와 오디오 데이터부(F2)를 조합하여 동영상 파일을 생성한다. 생성된 동영상 파일은 미디어 컨테이너 파일 형태로 구성될 수 있다.
한편 위에 기술된 음원 위치 관련 정보에 기준 좌표가 포함되어 있지 않은 경우에는 이후에 설명하는 음원 위치 산출 장치가 기준 좌표를 미리 설정하여 음원 위치 산출시 사용할 수 있다. 이 경우에도 기준 좌표는 위의 음원 위치 관련 정보에 포함되는 기준 좌표와 같이, 마이크로폰들 중에서 하나의 마이크로폰에 대한 위치 좌표일 수 있으며, 또는 이후 동영상 재생시 사용되는 화면 배율을 고려하여 설정되는 좌표일 수 있고, 또는 소리를 포함하는 오디오 데이터를 획득하는 마이크로폰들이 하나의 모듈에 포함되는 형태로 구성된 경우, 해당 모듈의 크기를 고려하여 설정되는 좌표일 수 있다.
본 발명의 실시 예에 따른 동영상 파일은 유선, 무선 등의 다양한 형태의 네트워크를 통하여 스트리밍(streaming) 등의 다양한 전송 방식으로 동영상 파일을 재생하는 장치로 제공될 수 있다. 동영상 파일에는 음원 위치 관련 정보 즉, 음원으로부터의 소리를 수신하여 출력하는 마이크로폰들의 개수, 그리고 이러한 마이크로폰들의 사이의 거리, 마이크로폰들의 각도와 기준 좌표 중 적어도 하나와, 소리 속도에 영향을 주는 환경 파라미터 또는 이러한 환경 파라미터에 따라 결정되는 소리 속도를 선택적으로 포함하는 소리 속도 결정 정보가 포함되어 있으므로, 동영상 재생 장치(도시하지 않음)에서는 이러한 음원 위치 관련 정보를 토대로 음원의 위치를 산출할 수 있다.
다음에는 이러한 동영상 파일 정보를 토대로 음원 위치를 산출하는 장치 및 그 방법에 대하여 설명한다.
도7은 본 발명의 실시 예에 따른 음원 위치 산출 장치의 구조를 나타낸 도이다.
첨부한 도7에 도시되어 있듯이, 본 발명의 실시 예에 따른 음원 위치 산출 장치(4)는, 동영상 파일을 수신하는 수신부(100), 수신된 동영상 파일로부터 음원 위치 관련 정보를 추출하는 정보 추출부(200), 추출된 음원 위치 관련 정보를 토대로 음원 위치를 산출하는 연산부(300)를 포함하고, 산출된 음원 위치를 출력하는 위치 출력부(400)를 더 포함할 수 있다.
수신부(100)는 다양한 경로를 통하여 본 발명의 실시 예에 따른 동영상 파일 즉, 오디오 데이터와 함께 오디오 데이터를 발생한 음원에 대한 음원 위치 관련 정보를 포함하는 동영상 파일을 수신한다. 예를 들어, 수신부(100)는 유선 또는 무선 네트워크를 통하여 스트리밍 방식으로 전송되는 동영상 파일을 수신할 수 있으며, 또한 기록 매체로부터 로드되거나 외부로부터 수신되는 데이터로부터 음원 위치 관련 정보를 제공받을 수 있다. 정보 추출부(200)는 수신된 동영상 파일로부터 영상 데이터부(F1)와 오디오 데이터부(F2)를 식별하고, 오디오 데이터부(F2)의 헤더(H2)로부터 음원 위치 관련 정보를 추출한다.
연산부(300)는 추출된 음원 위치 관련 정보를 토대로 음원 위치를 산출한다. 즉, 마이크로폰들의 개수 및 마이크로폰들의 사이의 거리와, 마이크로폰들의 각도나 기준 좌표들을 토대로 음원 위치를 산출하며, 이 때, 음원 위치 관련 정보에 포함된 소리 속도 결정 정보를 토대로 결정되는 소리 속도를 사용하여 음원 위치를 산출할 수 있다. 이러한 음원 위치 산출 방법에 대해서는 추후에 보다 구체적으로 설명하기로 한다.
도8은 본 발명의 실시 예에 따른 연산부(300)의 상세 구조를 나타낸 도이다. 도8은 본 발명의 실시 예에 따른 연산부(300)의 한 예일뿐이며, 반드시 이러한 구조에 한정되는 것은 아니다.
연산부(300)는 수신된 동영상 파일들로부터 채널별 오디오 데이터를 추출하고 추출되는 오디오 데이터들간의 시간 차이를 측정하는 소리 시간 지연차 측정 모듈(310), 소리를 획득하는데 사용된 마이크로폰들의 위치에 관련된 기준 좌표를 획득하는 기준 좌표 획득 모듈(320), 기준 좌표를 토대로 상기 마이크로폰들의 위치 좌표를 획득하는 위치 좌표 획득 모듈(330), 및 측정된 소리 시간 지연차들과 마이크로폰들의 위치 좌표를 이용하여 음원 위치를 산출하는 위치 산출 모듈(340)을 포함한다. 여기서 기준 좌표 획득 모듈(320)은 저장된 기준 좌표를 사용하거나 또는 음원 위치 관련 정보로부터 기준 좌표를 획득할 수 있다. 또한 위치 좌표 획득 모듈(330)은 음원 위치 관련 정보로부터 마이크로폰들의 위치 좌표들을 획득하거나 또는 기준 좌표를 토대로 연산을 수행하여 마이크로폰들의 위치 좌표들을 획득할 수 있다.
한편, 위치 출력부(400)는 산출된 음원 위치를 출력한다. 구체적으로, 음원 위치를 해당 오디오 데이터부 즉, 산출된 음원 위치에 관련된 음원 위치 관련 정보를 포함하는 오디오 데이터부(F2)에 동기하는, 영상 데이터부(F1)의 페이로드(P1)에 기록된 영상 데이터가 재생되는 것에 동기하여, 산출된 음원 위치를 출력한다. 예를 들어, 영상 데이터가 출력되는 화면에서 실제 음원 위치에 대응하는 위치에 음원 위치를 표시하거나, 또는 화면에서 영상 데이터가 표시되는 이외의 영역에 음원 위치를 표시할 수 있다. 또는 영상 데이터가 출력되는 동안 오디오 형태로 음원 위치 정보가 출력될 수 있다. 또는 위치를 표시하는 장치로 산출된 음원 위치를 출력한다.
다음에는 이러한 구조로 이루어지는 음원 위치 산출 장치를 토대로, 본 발명의 실시 예에 따른 음원 위치 산출 방법에 대하여 설명한다.
도9는 본 발명의 실시 예에 따른 음원 위치 산출 방법의 흐름도이다. 도9에 도시된 흐름은 단지 예시된 것이며, 본 발명의 실시 예에 따른 음원 위치 산출 과정이 이하에 기술되는 흐름에 한정되는 것은 아니다.
첨부한 도9에서와 같이, 음원 위치 산출 장치(4)는 외부로부터 동영상 파일을 수신한다(S300). 수신되는 동영상 파일은 영상 데이터부(F1)와 오디오 데이터부(F2)로 이루어지고, 예를 들어, 도 6에서와 같이, 음원 측정 장치(2)로부터 획득되는 음원 위치 관련 정보가 오디오 데이터부(F2)의 헤더(H2)에 기록되어 있고, 촬영 장치(3)로부터 획득되는 카메라 촬영 정보가 영상 데이터부(F1)의 헤더(H1)에 기록되어 있다.
음원 위치 산출 장치(4)의 정보 추출부(200)는 수신된 동영상 파일로부터 영상 데이터부(F1)와 오디오 데이터부(F2)를 식별하고, 오디오 데이터부(F2)의 헤더(H2)로부터 음원 위치 관련 정보를 추출하여 연산부(300)로 전달한다(S310).
연산부(300)는 추출된 음원 위치 관련 정보를 토대로 음원 위치를 산출한다.
먼저, 음원 위치 관련 정보가 기준 좌표를 포함하지 않는 경우(S320~S330), 연산부(300)는 미리 설정되어 저장되어 있는 기준 좌표를 사용한다(S330). 그러나 음원 위치 관련 정보가 기준 좌표를 포함하는 경우에는 음원 위치 관련 정보로부터 기준 좌표를 추출하여 사용한다(S340)
그리고 기준 좌표를 토대로 마이크로폰들의 위치 좌표를 획득한다. 기준 좌표가 하나의 마이크로폰에 대한 좌표인 경우, 연산부(300)는 기준 좌표와 음원 위치 관련 정보에 포함된 마이크로폰들의 사이의 거리를 토대로 각 마이크로폰들의 위치 좌표를 구한다. 이 경우 보다 정확한 위치 좌표를 획득하기 위하여 마이크로폰들의 각도를 사용할 수 있다. 이 때 추후에 설명되는 수학식 2 및 3을 토대로 마이크로폰들의 각도를 이용하여 마이크로폰들의 위치 좌표를 획득할 수 있다.
반면, 기준 좌표가 음원 측정시 사용되는 모든 마이크로폰들에 관련된 좌표들인 경우에는 별도의 과정 없이 미리 설정된 기준 좌표들을 그대로 사용한다(S350).
또한 연산부(300)는 오디오 데이터부(F2)의 페이로드(P2)에 기록된 채널별 오디오 데이터를 추출한다(S360). 그리고 각 채널별로 추출되는 오디오 데이터들을 토대로 오디오 데이터들간의 시간 차이를 측정한다. 즉, 각 오디오 데이터들이 출력되는 시점들을 토대로 각 채널별 오디오 데이터가 출력되는 시점 사이의 시간차를 측정한다. 이러한 각 채널별 오디오 데이터들간의 시간차를 설명의 편의상 "소리 시간 지연차"라고 명명한다(S370). 한편 오디오 데이터 추출시 음원 위치 관련 정보에 포함되어 있는 마이크로폰과 채널의 매칭 정보를 이용할 수 있다. 구체적으로 음원 위치 관련 정보가 마이크로폰과 채널의 매칭 정보를 포함하는 경우, 상기 매칭 정보를 이용하여 소정 마이이크로폰에 의하여 획득한 오디오 데이터가 어느 채널에 대응하는지를 확인할 수 있다.
이후 연산부(300)는 음원 위치 관련 정보(마이크로폰들의 개수, 마이크로폰들 사이의 거리, 마이크로폰들의 각도)와, 측정한 각 채널별 오디오 데이터들간의 소리 시간 지연차를 토대로 음원 위치를 산출한다.
음원 위치 산출시, 본 발명의 실시 예에서는 TDOA(time difference of arrival) 방법이 사용될 수 있다.
[수학식1]
Figure 112010028223305-pat00001
여기서, c는 소리 속도이며, Tij은 i번째 마이크로폰과 j번째 마이크로폰 사이의 TDOA 즉, 소리 시간 지연차이며, Ri는 i번째 마이크로폰과 음원 사이의 거리이며, Rj는 j번째 마이크로폰과 음원 사이의 거리이며, (Xi, Yi)는 i번째 마이크로폰의 좌표이고, (Xj, Yj)는 j번째 마이크로폰의 좌표이고, (x, y)는 음원의 좌표를 나타낸다.
각각의 마이크로폰들에 대하여 음원까지의 거리인 복수의 Ri를 구하면, 위의 수학식 1을 토대로, 복수의 Ri를 각각 반지름으로 하는 다수의 쌍곡선을 형성하고, 이러한 쌍곡선들이 교차하는 지점을 음원의 위치(x, y)로 산출한다.
한편 음원 위치 연산시에 소리 속도를 이용할 수 있다. 소리 속도를 소정값(예를 들어 음속 343m/s)으로 고정시켜 사용할 수도 있으나, 오디오 데이터가 획득되는 환경의 온도나 압력, 습도 등에 의하여 소리 속도가 영향을 받을 수 있으므로, 본 발명의 실시 예에서는 동영상 파일의 오디오 데이터부(F2)로부터 획득되는 음원 위치 관련 정보에 소리 속도 결정 정보가 포함되어 있는 경우, 이를 토대로 소리 속도를 획득하여 사용한다(S380).
음원 위치 관련 정보에 포함된 소리 속도 결정 정보가 온도, 습도, 압력 중 적어도 하나의 환경 파라미터에 대응하는 값인 경우, 연산부(300)는 별도로 저장하여 관리하는 소리 속도 보정 테이블(이것은 온도, 습도, 압력 중 적어도 하나를 토대로 소리가 전달되는 속도가 변화되는 것을 고려한 속도인 소리 속도가 결정되어 있는 테이블일 수 있다)을 이용하여, 소리 속도 결정 정보로부터 획득한 환경 파라미터에 대응하는 소리 속도를 찾는다. 그리고 소리 속도 보정 테이블로부터 찾아진 소리 속도를 이용하여 음원 위치를 산출한다.
반면, 음원 위치 관련 정보에 포함된 소리 속도 결정 정보가 소리 속도(예를들어 오디오 데이터가 획득되는 환경에서 측정된 그리고 환경 파라미터를 토대로 결정된 소리 속도임)인 경우에는, 음원 위치 관련 정보에 포함된 소리 속도를 바로 이용하여 음원 위치를 산출한다.
이와 같이 소리 속도를 환경 파라미터를 토대로 하여 보정하여 사용하면서, 각 채널별 오디오 데이터들간의 소리 시간 지연차, 마이크로폰들의 위치 좌표들을 토대로 위의 수학식1을 사용하여 음원 위치를 산출할 수 있으며, 특히 환경 변화가 발생하여도 음원 위치를 정확하게 산출할 수 있다(S390).
한편 위치 출력부(400)는 산출된 음원 위치를 도시하지 않은 동영상 재생 장치로 제공하거나 또는 동영상 재생 장치와 연동하여 해당 영상 데이터가 재생될 때, 음원 위치를 출력할 수 있다(S400). 예를 들어, 영상 데이터가 표시되는 화면의 다른 영역에 캡션 데이터 형태로 음원 위치를 출력하거나 음원 위치를 오디오로 처리하여 출력할 수 있다. 여기서 음원 위치가 출력되는 형태는 고정되어 있지 않으며, 사람들이 음원 위치를 인식할 수 있는 다양한 형태로 출력하는 당업계에서 사용가능한 모든 방법들이 사용될 수 있다.
한편 마이크로폰들의 각도와 마이크로폰들 사이의 거리를 토대로 마이크로폰들과 음원 사이의 거리 Ri를 산출할 수 있다.
이 경우 삼각 측량법을 토대로 마이크로폰들과 음원 사이의 거리 Ri를 산출할수 있다.
도10은 본 발명의 실시 예에서, 마이크로폰과 음원 사이의 거리를 산출하는 경우를 나타낸 예시도이다. 도 10에서는 3개의 마이크로폰들의 각도와 거리들을 토대로 삼각측량법을 이용하여 마이크로폰과 음원 사이의 거리를 산출하는 것을 나타낸 예이다.
도 10에서 각도 r=180??α??β의 관계가 성립되고, 마이크로폰들과 음원 사이의 거리에 다음과 같은 관계가 성립될 수 있다.
[수학식 2]
Figure 112010028223305-pat00002
[수학식 3]
Figure 112010028223305-pat00003
여기서, L23은 마이크로폰 M2와 마이크로폰 M3사이의 거리를 나타낸다.
위에 기술된 바와 같은 수학식2를 토대로 마이크로폰들과 음원 사이의 거리 Ri를 산출한 다음에, 산출된 Ri를 수학식3에 적용시켜 음원의 위치를 산출할 수 있다. 이러한 방법은 본 발명의 실시 예에서 음원 위치를 산출하기 위한 하나의 예일 뿐이다.
이러한 음원 위치 연산 과정을 예를 들어 설명하기로 한다.
도11은 본 발명의 실시 예에 따른 동영상 파일에 기록된 오디오 데이터부(F2)를 이용하여 음원 위치를 산출하는 것을 나타낸 예시도이다.
음원 측정시, 예를 들어, 도6에서와 같이, 4개의 마이크로폰들 M1, M2, M3, M4가 사용되었고, 마이크로폰 M1과 마이크로폰 M2사이의 거리를 L12, 마이크로폰 M2와 마이크로폰 M3사이의 거리를 L23, 마이크로폰 M3와 마이크로폰 M4사이의 거리를 L34, 마이크로폰 M4와 마이크로폰 M1사이의 거리를 L41이라고 하고, 또한 마이크로폰 M1이 다른 마이크로폰들에 대하여 가지는 각도를 ∠M1, 마이크로폰 M2가 다른 마이크로폰들에 대하여 가지는 각도를 ∠M2, 마이크로폰 M3가 다른 마이크로폰들에 대하여 가지는 각도를 ∠M3, 마이크로폰 M4가 다른 마이크로폰들에 대하여 가지는 각도를 ∠M4라고 하자. 이와 같이 4개의 마이크로폰이 사용된 경우, 도 11에서와 같이, 각각의 마이크로폰에 대응하는 오디오 데이터들이 채널별로 처리되어, 4개의 채널별 오디오 데이터들이 제공된다.
위에 기술된 바와 같이, 4개의 마이크로폰들로부터 획득된 오디오 데이터들이 제공되고 이에 관련된 음원 위치 관련 정보가 제공되는 것으로 가정한 경우, 본 발명의 실시 예에 따른 음원 위치 산출 장치(4)는 기준 좌표를 획득한다.
4개의 마이크로폰이 사용된 경우, 미리 설정된 기준 좌표나 음원 위치 관련 정보에 포함되는 기준 좌표는 4개의 마이크로폰들 중에서 예를 들어, 마이크로폰M1의 위치 좌표(X1, Y1)일 수 있다. 이러한 기준 좌표와 마이크로폰들 사이의 거리(L12, L23, L34, L41)를 토대로 4개의 마이크로폰들 모두(M1, M2, M3, M4)에 대한 위치 좌표들((X1, Y1), (X2, Y2), (X3, Y3), (X4, Y4))을 획득할 수 있다. 물론 이와는 달리 미리 설정된 기준 좌표나 음원 위치 관련 정보에 포함되는 기준 좌표가 사용된 모든 마이크로폰들에 대한 위치 좌표들일 수도 있다.
한편 4개의 채널별로 오디오 데이터들을 추출하고, 채널별로 추출되는 오디오 데이터들을 토대로 오디오 데이터들간의 시간 차이를 측정한다. 즉, 도11에서와 같이, 4개의 채널별 오디오 데이터가 제공되는 경우, 마이크로폰 M1에 대응하는 1채널의 오디오 데이터가 출력되는 시점과 마이크로폰 M2에 대응하는 2채널의 오디오 데이터가 출력되는 시점 사이의 소리 시간 지연차(T12), 마이크로폰 M2에 대응하는 2채널의 오디오 데이터가 출력되는 시점과 마이크로폰 M3에 대응하는 3채널의 오디오 데이터가 출력되는 시점 사이의 소리 시간 지연차(T21), 마이크로폰 M3에 대응하는 3채널의 오디오 데이터가 출력되는 시점과 마이크로폰 M4에 대응하는 4채널의 오디오 데이터가 출력되는 시점 사이의 소리 시간 지연차(T31)를 각각 측정한다. 이 때, 음원 위치 관련 정보에 포함된 마이크로폰과 채널의 매칭 정보를 이용하여 소정 채널이 어느 마이크로폰으로부터 획득된 오디오 데이터인지를 보다 용이하게 확인할 수 있다. 이 경우 예를 들어, 마이크로폰과 채널의 매칭 정보는 "M1->1채널, M2->2채널, M3->3채널, M4->4채널"과 같은 형태일 수 있다. 한편 음원 위치 관련 정보가 이러한 매칭 정보를 포함하지 않는 경우에는 채널 순서에 마이크로폰들의 순서가 설정 방식에 따라 대응하는 것(예를 들어, 첫번째 채널은 첫번째 마이크로폰에 대응함)으로 미리 설정하여 채널별 오디오 데이터가 각각 어느 마이크로폰으로부터 획득된 것인지를 알 수도 있다.
측정된 소리 시간 지연차(T12, T21, T31)와 마이크로폰들의 좌표((X1, Y1), (X2, Y2), (X3, Y3), (X4, Y4))를 이용하여 각각의 마이크로폰들에 대하여 음원까지의 거리인 복수의 Ri를 구하고, 복수의 Ri를 각각 반지름으로 하는 다수의 쌍곡선을 형성하고, 이러한 쌍곡선들이 교차하는 지점을 음원의 위치(x, y)로 산출한다. 한편 위의 실시 예에서는 2차원 좌표(X, Y)를 이용하여 음원의 위치를 산출하는 것을 예로 들었으나, 3차원 좌표 즉, (X, Y, Z)를 이용하는 경우에도 위에 기술된 바와 같은 동일한 방법이 적용될 수 있다.
위에 기술된 실시 예에서는 각 채널별 오디오 데이터들의 소리 시간 지연차를 토대로 음원 위치를 산출하였으나, 각 채널별 오디오 데이터들의 신호 세기차를 이용하여 음원 위치를 산출할 수 있다.
도12는 본 발명의 다른 실시 예에 따른 음원 위치 산출 장치의 연산부의 구조도이다.
본 발명의 다른 실시 예에 따른 음원 위치 산출 장치는 위의 도7에 도시된 실시 예와 동일하게 수신부(100), 정보 추출부(200), 연산부(300), 그리고 위치 출력부(400)를 포함하며, 단지 연산부(300)의 구조가 다르다.
구체적으로, 도 12에서와 같이 본 발명의 다른 실시 예에 따른 연산부(300)는 수신된 동영상 파일들로부터 채널별 오디오 데이터를 추출하고 추출되는 오디오 데이터들의 신호 세기를 측정하고, 측정된 채널별 오디오 데이터들의 신호 세기를 토대로 채널별 오디오 데이터들의 신호 세기 차를 측정하는 신호 세기 측정 모듈(310'), 소리를 획득하는데 사용된 마이크로폰들의 위치에 관련된 기준 좌표를 획득하는 기준 좌표 획득 모듈(320), 기준 좌표를 토대로 상기 마이크로폰들의 위치 좌표를 획득하는 위치 좌표 획득 모듈(330), 및 측정된 오디오 데이터들의 신호 세기 차들과 마이크로폰들의 위치 좌표를 이용하여 음원 위치를 산출하는 위치 산출 모듈(340')을 포함한다.
여기서 기준 좌표 획득 모듈(320), 위치 좌표 획득 모듈(330)은 위의 실시예와 동일하게 기능한다.
도13은 본 발명의 다른 실시 예에 따른 음원 위치 산출 방법의 흐름도이다. 도13에 도시된 흐름은 단지 예시된 것이며, 본 발명의 실시 예에 따른 음원 위치 산출 과정이 이하에 기술되는 흐름에 한정되는 것은 아니다.
도14는 본 발명의 다른 실시 예에 따른 동영상 파일에 기록된 오디오 데이터부를 이용하여 음원 위치를 산출하는 것을 나타낸 예시도이다.
본 발명의 다른 실시 예에 따른 음원 위치 산출 방법은 위의 도9에 기술된 방법과 동일하게, 동영상 파일을 수신하여 음원 위치 관련 정보를 추출하고 기준 좌표를 토대로 마이크로폰들의 위치 좌표를 획득한 다음에 채널별로 오디오 데이터를 추출한다(S500~S560).
그러나 위의 실시 예와는 달리, 음원 위치 산출 장치(4')의 연산부(300')는 추출되는 채널별 오디오 데이터들의 세기를 측정한다(S570). 예를 들어, 도14에서와 같이, 마이크로폰 M1에 대응하는 1채널의 오디오 데이터의 신호 세기(신호의 진폭 등)를 측정하고, 마이크로폰 M2에 대응하는 2채널을 통하여 출력되는 오디오 데이터의 신호 세기, 마이크로폰 M3에 대응하는 3채널을 통하여 출력되는 오디오 데이터의 신호 세기, 마이크로폰 M4에 대응하는 4채널을 통하여 출력되는 오디오 데이터의 신호 세기를 각각 측정한다. 물론 음원 위치 관련 정보가 마이크로폰과 채널의 매칭 정보를 포함하는 경우, 이 매칭 정보를 토대로 각 마이크로폰에 대응하는 채널별로 오디오 데이터를 용이하게 획득할 수 있다.
그리고 측정된 각 채널별 오디오 데이터들의 신호 세기들을 토대로 각 채널별오디오 데이터들의 신호 세기 차를 측정한다. 즉, 마이크로폰 M1에 대응하는 1채널의 오디오 데이터의 신호 세기와 마이크로폰 M2에 대응하는 2채널을 통하여 출력되는 오디오 데이터의 신호 세기의 차, 2채널을 통하여 출력되는 오디오 데이터의 신호 세기마이크로폰 M3에 대응하는 3채널을 통하여 출력되는 오디오 데이터의 신호 세기의 차, 3채널을 통하여 출력되는 오디오 데이터의 신호 세기와 마이크로폰 M4에 대응하는 4채널을 통하여 출력되는 오디오 데이터의 신호 세기의 차, 그리고 4채널을 통하여 출력되는 오디오 데이터의 신호 세기와 1채널을 통하여 출력되는 오디오 데이터의 신호 세기의 차를 각각 측정한다(S580).
그리고 이와 같이 측정되는 각 채널별 오디오 데이터들의 신호 세기차들을 이용하여 각 채널에 대응하는 마이크로폰과 음원 사이의 거리를 측정한다(S590). 이 경우 RSSI(received signal strength indication) 방법을 사용할 수 있다.
이 경우 위의 실시 예와 동일하게 음원 위치 관련 정보에 포함된 소리 속도 결정 정보로부터 소리 속도를 획득한 다음에, 마이크로폰과 음원 사이의 거리를 측정할 때 획득한 소리 속도를 적용할 수도 있다.
이후, 음원 위치 산출 장치(4')의 연산부(300')는 복수의 마이크로폰들과 음원사이의 거리 Ri를 각각 반지름으로 하는 다수의 쌍곡선을 형성하고, 이러한 쌍곡선들이 교차하는 지점을 음원의 위치(x, y)로 산출한다(S600). 위에 기술된 바와 같이 동영상 파일의 오디오 데이터부의 헤더에 기록된 음원 위치 관련 정보를 토대로 음원 위치를 산출한 다음에, 음원 위치 산출 장치는 산출된 음원의 위치(x, y)를 동영상 재생 장치(도시하지 않음)로 제공할 수 있다(S610).
동영상 재생 장치는 음원의 위치를 획득한 동영상 파일에 포함되어 있는 영상 데이터를 재생할 때, 상기 음원 위치를 표시한다. 예를 들어, 동영상 재생 장치는 산출된 음원의 위치를 해당 영상 데이터가 표시되는 화면상에 표시하거나, 화면상의 영상 데이터가 표시되는 영역을 제외한 별도의 영역에 음원의 위치를 표시하거나 또는 오디오로 음원 위치를 출력하는 등의 과정을 통하여, 산출된 음원 위치를 다양한 형태로 출력할 수 있다.
이러한 경우 영상 데이터 재생에 문제가 있어서 영상이 표시되지 않거나 영상 데이터의 휘도가 낮아서 표시되는 영상의 식별이 용이하지 않는 경우에도, 소리가 발생한 음원에 대한 위치 정보를 알 수 있으며, 표시되는 영상의 어떠한 영역에 소리가 발생한 음원이 위치되는지를 용이하게 알 수 있다.
위에 기술된 실시 예에서는 음원 위치 관련 정보를 포함한 동영상 파일로부터 상기 음원 위치 관련 정보를 추출하여 음원 위치를 산출하는 것을 예로 들었으나, 본 발명은 동영상 파일에 한정되지 않고 음원 위치 관련 정보를 포함하는 모든 형태의 데이터로부터 음원 위치 관련 정보를 추출하여 음원 위치를 산출할 수 있다.
이러한 본 발명의 실시 예에 따른 음원 위치 관련 정보가 포함된 파일로부터음원 위치를 산출하는 장치 및 방법은 다양한 분야에 사용될 수 있으며, 특히, 감시나 경비를 수행하는 시스템에서 보다 효과적으로 사용될 수 있다. 감시나 경비가 이루어지는 공간의 경우 휘도가 낮아서 영상에 포함되는 객체의 식별이 용이한 영상 데이터를 획득하기가 용이하지 않다. 이러한 상황에서 촬영되는 영상 데이터에 소리가 발생한 음원에 대한 위치 관련 정보가 포함되어 제공됨으로써, 관제 센터에서 재생되는 영상의 식별이 용이하지 않은 경우에도 소리가 발생된 음원의 위치를 알 수 있으며, 이를 토대로 신속하고 적절한 경비 대응이 이루어질 수 있다. 이러한 것은 본 발명의 실시 예에 따른 음원 위치 산출 장치 및 그 방법이 적용되는 것에 대한 예일 뿐이며, 위에 기술된 것들에 한정되지 않는다.
이상에서 설명한 본 발명의 실시 예는 장치(물건) 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예에 따른 음원 위치 산출 방법의 구성에 대응하는 기능을 실행시킬 수 있는 프로그램 또는 그 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (20)

  1. 기록매체로부터 로드되거나 외부로부터, 소리가 발생한 음원의 위치를 측정하는데 관련된 정보인 음원 위치 관련 정보와 상기 소리에 해당하는 오디오 데이터를 포함하는 오디오 데이터부를 포함하는 파일을 수신하는 단계;
    상기 파일로부터 상기 음원 위치 관련 정보를 추출하며, 상기 음원 위치 관련 정보는 소리를 측정하는 마이크로폰들의 개수, 마이크로폰들 사이의 거리, 마이크로폰들의 각도, 상기 오디오 데이터가 획득된 환경에 관련된 소리 속도 결정 정보를 포함하는 단계;
    상기 파일의 오디오 데이터부로부터 채널별 오디오 데이터를 추출하고 추출되는 오디오 데이터들간의 시간 차이인 소리 시간 지연차들을 측정하는 단계;
    상기 음원 위치 관련 정보를 토대로 상기 마이크로폰들의 위치 좌표를 획득하는 단계; 및
    상기 측정된 소리 시간 지연차들과 마이크로폰들의 위치 좌표, 그리고 상기 소리 속도 결정 정보에 따른 소리 속도를 이용하여 음원 위치를 산출하는 단계
    를 포함하는, 음원 위치 산출 방법.
  2. 기록매체로부터 로드되거나 외부로부터, 소리가 발생한 음원의 위치를 측정하는데 관련된 정보인 음원 위치 관련 정보와 상기 소리에 해당하는 오디오 데이터를 포함하는 오디오 데이터부를 포함하는 파일을 수신하는 단계;
    상기 파일로부터 상기 음원 위치 관련 정보를 추출하며, 상기 음원 위치 관련 정보는 소리를 측정하는 마이크로폰들의 개수, 마이크로폰들 사이의 거리, 마이크로폰들의 각도, 상기 오디오 데이터가 획득된 환경에 관련된 소리 속도 결정 정보를 포함하는 단계;
    상기 파일의 오디오 데이터부로부터 채널별 오디오 데이터를 추출하고 추출되는 오디오 데이터들의 신호 세기를 측정하고, 측정된 오디오 데이터들의 세기를 토대로 채널별 오디오 데이터들의 신호 세기차를 측정하는 단계;
    상기 음원 위치 관련 정보를 토대로 상기 마이크로폰들의 위치 좌표를 획득하는 단계; 및
    상기 측정된 신호 세기차들과 마이크로폰들의 위치 좌표, 그리고 상기 소리 속도 결정 정보에 따른 소리 속도를 이용하여 음원 위치를 산출하는 단계
    를 포함하는, 음원 위치 산출 방법.
  3. 삭제
  4. 제1항 또는 제2항에 있어서
    상기 마이크로폰들의 위치 좌표를 획득하는 단계는
    상기 음원 위치 관련 정보에 포함되어 있거나 미리 설정되어 있는 기준 좌표를 토대로 상기 마이크로폰들의 위치 좌표를 획득하는, 음원 위치 산출 방법.
  5. 제1항에 있어서
    상기 음원 위치를 산출하는 단계는,
    상기 측정된 소리 시간 지연차들과 상기 소리 속도 결정 정보에 따른 소리 속도를 이용하여 각 마이크로폰들과 상기 음원 사이의 거리를 측정하고, 측정된 각 마이크로폰들과 상기 음원 사이의 거리들과 상기 마이크로폰들의 위치 좌표들을 이용하여 음원 위치를 산출하는, 음원 위치 산출 방법.
  6. 제2항에 있어서
    상기 음원 위치를 산출하는 단계는
    상기 채널별 오디오 데이터들의 신호 세기차들과 상기 소리 속도 결정 정보에 따른 소리 속도를 이용하여 각 마이크폰들과 음원 사이의 거리를 산출하고, 상기 마이크로폰들과 음원 사이의 거리들과 마이크로폰들의 위치 좌표를 이용하여 음원 위치를 산출하는, 음원 위치 산출 방법.
  7. 제4항에 있어서
    상기 기준 좌표는 상기 소리를 획득하는데 사용된 마이크로폰들 중 적어도 하나의 위치 좌표인, 음원 위치 산출 방법.
  8. 제7항에 있어서
    상기 기준 좌표가 상기 마이크로폰들 중 하나의 위치 좌표인 경우,
    상기 마이크로폰들의 위치 좌표를 획득하는 단계는 상기 기준 좌표와 상기 음원 위치 관련 정보에 포함된 마이크로폰들간의 거리를 토대로 상기 마이크로폰들의 위치 좌표를 각각 획득하는, 음원 위치 산출 방법.
  9. 제1항 또는 제2항에 있어서
    상기 음원 위치 관련 정보는 마이크로폰과 채널의 매칭 정보를 더 포함하고,
    상기 음원 위치를 산출하는 단계는 상기 매칭 정보를 이용하여 상기 채널별로 추출된 오디오 데이터가 어떤 마이크로폰에 대응하는지를 확인하는 음원 위치 산출 방법.
  10. 제1항 또는 제2항에 있어서
    상기 소리 속도 결정 정보는 상기 오디오 데이터가 획득된 환경을 나타내는 온도, 습도, 압력 중 적어도 하나를 포함하는 환경 파라미터의 측정값 그리고, 상기 환경 파라미터의 측정값을 토대로 결정된 소리 속도 중 적어도 하나를 포함하고,
    상기 음원 위치를 산출하는 단계는,
    상기 음원 위치 관련 정보에 포함된 음원 위치 측정시 상기 환경 파라미터의 측정값을 토대로 하는 소리 속도, 그리고 상기 음원 위치 관련 정보에 포함된 소리 속도 중 하나를 이용하여, 상기 음원 위치를 산출하는 음원 위치 산출 방법.
  11. 제1항 또는 제2항에 있어서
    상기 파일의 오디오 데이터부는,
    소리가 발생한 음원의 위치를 측정하는데 관련된 정보인 상기 음원 위치 관련 정보가 기록된 헤더, 및 소리를 포함하는 오디오 데이터가 기록된 페이로드
    를 포함하고,
    상기 파일은
    상기 오디오 데이터 획득시 촬영되는 영상 데이터가 기록되는 페이로드, 및
    상기 영상 데이터 촬영시 관련된 카메라 촬영 정보가 기록된 헤더
    를 더 포함하는 영상 데이터부
    를 포함하는, 음원 위치 산출 방법.
  12. 제11항에 있어서
    상기 음원 위치를 획득한 오디오 데이터부에 동기하는 영상 데이터부에 기록된 영상 데이터가 출력되는 것에 동기하여 상기 음원 위치를 출력하는 단계를 더 포함하는, 음원 위치 산출 방법.
  13. 기록매체로부터 로드되거나 외부로부터 전송되며, 소리가 발생한 음원의 위치를 측정하는데 관련된 정보인 음원 위치 관련 정보와 상기 소리에 해당하는 오디오 데이터를 포함하는 오디오 데이터부를 포함하는 파일을 수신하는 수신부;
    상기 수신부의 데이터로부터 상기 음원 위치 관련 정보를 추출하며, 상기 음원 위치 관련 정보는 소리를 측정하는 마이크로폰들의 개수, 마이크로폰들 사이의 거리, 마이크로폰들의 각도, 상기 오디오 데이터가 획득된 환경에 관련된 소리 속도 결정 정보를 포함하는 정보 추출부;
    상기 추출된 음원 위치 관련 정보와 상기 소리 속도 결정 정보에 따른 소리 속도를 이용하여 음원 위치를 산출하는 연산부; 및
    상기 산출된 음원 위치를 출력하는 위치 출력부
    를 포함하는, 음원 위치 산출 장치.
  14. 제13항에 있어서
    상기 오디오 데이터부는
    소리가 발생한 음원의 위치를 측정하는데 관련된 정보인 상기 음원 위치 관련 정보가 기록된 헤더, 및
    소리를 포함하는 오디오 데이터가 기록된 페이로드
    를 포함하는 음원 위치 산출 장치.
  15. 제14항에 있어서
    상기 연산부는 상기 파일로부터 채널별 오디오 데이터를 추출하고 추출되는 오디오 데이터들간의 시간 차이인 소리 시간 지연차들을 측정하는 소리 시간 지연차 측정 모듈;
    상기 소리를 획득하는데 사용된 마이크로폰들의 위치에 관련된 기준 좌표를 획득하는 기준 좌표 획득 모듈;
    상기 기준 좌표를 토대로 상기 마이크로폰들의 위치 좌표를 획득하는 위치 좌표 획득 모듈; 및
    상기 측정된 소리 시간 지연차들과 마이크로폰들의 위치 좌표, 상기 소리 속도 결정 정보에 따른 소리 속도를 이용하여 음원 위치를 산출하는 위치 산출 모듈
    을 포함하는, 음원 위치 산출 장치.
  16. 제14항에 있어서
    상기 연산부는
    상기 파일의 오디오 데이터부로부터 채널별 오디오 데이터를 추출하고 추출되는 오디오 데이터들의 세기를 측정하고, 측정되는 세기를 토대로 각 채널별 오디오 데이터의 신호 세기차를 측정하는 신호 세기 측정 모듈;
    상기 소리를 획득하는데 사용된 마이크로폰들의 위치에 관련된 기준 좌표를 획득하는 기준 좌표 획득 모듈;
    상기 기준 좌표를 토대로 상기 마이크로폰들의 위치 좌표를 획득하는 위치 좌표 획득 모듈; 및
    상기 채널별 오디오 데이터들의 신호 세기차와 상기 소리 속도 결정 정보에 따른 소리 속도를 토대로 각 마이크로폰들과 음원 사이의 거리를 산출하고, 산출된 마이크로폰들과 음원 사이의 거리와, 마이크로폰들의 위치 좌표를 이용하여 음원 위치를 산출하는 위치 산출 모듈
    를 포함하는, 음원 위치 산출 장치.
  17. 제15항 또는 제16항에 있어서
    상기 기준 좌표는 상기 소리를 획득하는데 사용된 마이크로폰들 중 적어도 하나의 위치 좌표인, 음원 위치 산출 장치.
  18. 제15항 또는 제16항에 있어서
    상기 음원 위치 관련 정보는 마이크로폰과 채널의 매칭 정보를 더 포함하고,
    상기 연산부는 상기 매칭 정보를 이용하여 상기 채널별로 추출될 오디오 데이터가 어떤 마이크로폰에 대응하는지를 확인하는 음원 위치 산출 장치.
  19. 제13항에 있어서
    상기 소리 속도 결정 정보는, 상기 오디오 데이터가 획득된 환경을 나타내는 온도, 습도, 압력 중 적어도 하나를 포함하는 환경 파라미터의 측정값 그리고, 상기 환경 파라미터의 측정값을 토대로 결정된 소리 속도 중 적어도 하나를 포함하고,
    상기 연산부는 상기 음원 위치 관련 정보에 포함된 음원 위치 측정시 상기 환경 파라미터의 측정값을 토대로 하는 소리 속도, 그리고 상기 음원 위치 관련 정보에 포함된 소리 속도 중 하나를 이용하여, 상기 음원 위치를 산출하는 음원 위치 산출 장치.
  20. 제14항에 있어서
    상기 파일은
    상기 오디오 데이터 획득시 촬영되는 영상 데이터가 기록되는 페이로드, 및
    상기 영상 데이터 촬영시 관련된 카메라 촬영 정보가 기록된 헤더
    를 포함하는 영상 데이터부
    를 더 포함하고,
    상기 위치 출력부는 상기 음원 위치를 획득한 오디오 데이터부에 동기하는 영상 데이터부에 기록된 영상 데이터가 출력되는 것에 동기하여 상기 음원 위치를 출력하는, 음원 위치 산출 장치.
KR1020100040845A 2010-04-30 2010-04-30 음원 위치 산출 장치 및 그 방법 KR101155611B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100040845A KR101155611B1 (ko) 2010-04-30 2010-04-30 음원 위치 산출 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100040845A KR101155611B1 (ko) 2010-04-30 2010-04-30 음원 위치 산출 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20110121304A KR20110121304A (ko) 2011-11-07
KR101155611B1 true KR101155611B1 (ko) 2012-07-11

Family

ID=45392212

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100040845A KR101155611B1 (ko) 2010-04-30 2010-04-30 음원 위치 산출 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101155611B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102127640B1 (ko) 2013-03-28 2020-06-30 삼성전자주식회사 휴대 단말 및 보청기와 휴대 단말에서 음원의 위치를 제공하는 방법
CN117612539A (zh) 2016-05-30 2024-02-27 索尼公司 视频音频处理设备、视频音频处理方法和存储介质
WO2021015302A1 (ko) * 2019-07-19 2021-01-28 엘지전자 주식회사 이동 로봇 및 이동 로봇에서 화자의 위치를 추적하는 방법
CN111722186B (zh) * 2020-06-30 2024-04-05 中国平安人寿保险股份有限公司 基于声源定位的拍摄方法、装置、电子设备及存储介质
CN115002607B (zh) * 2022-05-25 2023-12-22 歌尔股份有限公司 音源位置确定方法、设备及存储介质
CN115134499B (zh) * 2022-06-28 2024-02-02 世邦通信股份有限公司 一种音视频监控方法及***
CN115996317A (zh) * 2022-11-30 2023-04-21 旭宇光电（深圳）股份有限公司 多功能智能杆及基于其的噪声来源监控方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007027846A (ja) * 2005-07-12 2007-02-01 Oki Electric Ind Co Ltd 動画再生システム及び動画再生方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007027846A (ja) * 2005-07-12 2007-02-01 Oki Electric Ind Co Ltd 動画再生システム及び動画再生方法

Also Published As

Publication number Publication date
KR20110121304A (ko) 2011-11-07

Similar Documents

Publication Publication Date Title
KR101155611B1 (ko) 음원 위치 산출 장치 및 그 방법
JP4778306B2 (ja) 非同期画像部分をマッチングすること
US20150003802A1 (en) Audio/video methods and systems
US10347298B2 (en) Method and apparatus for smart video rendering
JP6216169B2 (ja) 情報処理装置、情報処理方法
EP2795402A1 (en) A method, an apparatus and a computer program for determination of an audio track
US11342001B2 (en) Audio and video processing
JP2017103542A (ja) 同期装置、同期方法及び同期プログラム
JP2011071685A (ja) 映像音響処理システム、映像音響処理方法及びプログラム
KR101155610B1 (ko) 음원 위치 표시 장치 및 그 방법
JP2011071686A (ja) 映像音響処理装置、映像音響処理方法及びプログラム
EP2704421A1 (en) System for guiding users in crowdsourced video services
KR101721085B1 (ko) 촬영 장치 및 센서의 시간 동기화 장치 및 방법
WO2011108377A1 (ja) 連携動作機器、連携動作方法、連携動作制御プログラム及び機器連携システム
US9424619B2 (en) Methods and systems for detecting frame tears
KR101203706B1 (ko) 음원 위치 관련 정보를 포함하는 동영상 파일 생성 장치 및 그 방법 그리고 기록 매체
KR101168742B1 (ko) 음원 위치 파악 정보를 포함한 서브타이틀 생성 장치 및 방법
KR101212317B1 (ko) 비컨을 구비한 마커를 포함하는 음원 위치 측정 장치 및 이를 이용한 음원 위치 오차 개선 방법
JP7064144B2 (ja) 情報統合方法、情報統合装置、及び情報統合プログラム
JP6210940B2 (ja) 情報提示装置、情報入力装置、及びプログラム
JP5941351B2 (ja) 画像処理装置及びその制御方法
JP6098458B2 (ja) 情報処理装置
JP2018157385A (ja) データ同期方法
KR101674187B1 (ko) 광대역 보간법을 위한 입체음향 획득 장치 및 그 방법
JP2019121816A (ja) 信号同期方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150601

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170601

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180530

Year of fee payment: 7