KR101330771B1 - 동영상 줌 제어 기능과 연동된 음향 줌 장치 및 방법 - Google Patents

동영상 줌 제어 기능과 연동된 음향 줌 장치 및 방법 Download PDF

Info

Publication number
KR101330771B1
KR101330771B1 KR1020080112733A KR20080112733A KR101330771B1 KR 101330771 B1 KR101330771 B1 KR 101330771B1 KR 1020080112733 A KR1020080112733 A KR 1020080112733A KR 20080112733 A KR20080112733 A KR 20080112733A KR 101330771 B1 KR101330771 B1 KR 101330771B1
Authority
KR
South Korea
Prior art keywords
signal
zoom
zoom control
time
video
Prior art date
Application number
KR1020080112733A
Other languages
English (en)
Other versions
KR20100053889A (ko
Inventor
정소영
오광철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080112733A priority Critical patent/KR101330771B1/ko
Priority to US12/501,260 priority patent/US8897454B2/en
Publication of KR20100053889A publication Critical patent/KR20100053889A/ko
Application granted granted Critical
Publication of KR101330771B1 publication Critical patent/KR101330771B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

동영상 줌 제어 기능과 연동된 음향 줌 기술을 제시한다. 이 기술은 복수의 마이크를 통해 입력된 신호로부터 주변 잡음 제어를 위한 신호와, 원거리 음원 제어를 위한 신호를 추출하고, 이 추출된 신호에 볼륨 제어를 위한 가중치를 반영하여 전방 지향성이 강조된 신호와 매스킹(Masking) 처리함으로써 디지털 기기의 카메라 동영상 줌과 자연스럽게 연동되는 보다 생동감 있는 음원을 생성할 수 있도록 한다.
Figure R1020080112733
동영상 줌, 음향 줌, 주변 잡음 제어, 원거리 음원 제어, 볼륨 제어

Description

동영상 줌 제어 기능과 연동된 음향 줌 장치 및 방법{Sound zooming apparatus and method coupled with image zooming control}
동영상 줌 제어 기능과 연동된 음향 줌 장치 및 방법에 관한 것으로, 특히 동영상 줌 제어에 따라 복수의 마이크를 통해 입력된 음원신호로부터 주변 잡음을 제거하고, 원거리 음원을 강화하는 음향 줌 기술에 관련한 것이다.
동영상 취득이 가능한 디지털 캠코더, 캠코더 폰 등의 보급이 늘어남에 따라 사용자가 손수 제작한 컨텐츠(UCC : User Created Contents)가 폭발적으로 증가하고 있다. 초고속 인터넷과 웹(Web) 기술의 발전으로 UCC 유통 채널이 점차 확대되고 있어, 고화질, 고음질의 동영상을 취득할 수 있는 디지털 기기의 필요성이 더욱 증대되고 있다.
기존의 디지털 기기의 카메라의 경우 줌(Zoom) 기능은 영상에만 적용되어, 줌 모드일 때 취득한 동영상 화면에서 보여지는 장면과 무관하게 근거리의 배경 잡음 및 원거리 음성이 동시에 입력되어 현장감 있는 동영상을 취득할 수 없었다.
따라서, 동영상 줌 제어 기능과 동기화하여 음향 줌을 수행할 수 있는 카메라에 대한 필요성에 따라, 본 발명자는 주변 잡음 제거와, 원거리 음원을 강화함으 로써 동영상 줌과 자연스럽게 연동되어 목표 음원을 추출할 수 있는 기술에 대한 연구를 하게 되었다.
주변 잡음 제어를 위한 신호와, 원거리 음원 제어를 위한 신호와, 볼륨 제어를 위한 가중치가 반영된 신호를 전방 지향성이 강조된 신호와 매스킹(Masking) 처리함으로써 디지털 기기의 카메라 동영상 줌과 자연스럽게 연동되는 음원을 생성할 수 있는 음향 줌 제어 기술을 제공한다.
본 발명의 일 양상에 따르면, 동영상 줌 제어 기능과 연동된 음향 줌 장치가 동영상 줌 제어 기능과 연동되어, 복수의 마이크를 통해 입력된 음원신호로부터 주변 잡음 제어를 위한 신호 처리와, 복수의 마이크를 통해 입력된 음원신호로부터 원거리 음원 제어를 위한 신호 처리 및 볼륨 제어를 위한 가중치를 반영하여 동영상 줌 제어에 따른 음향 줌 신호를 생성한다.
디지털 기기의 카메라 동영상 줌 기능과 자연스럽게 음향 줌 기능을 연동함으로써 보다 현장감 있는 동영상을 얻을 수 있다.
이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.
본 발명 실시예들을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 에는 그 상세한 설명을 생략할 것이다.
본 발명 실시예들을 설명하기에 앞서, 명세서 전반에 걸쳐 사용되는 용어들을 정의한다. 이 용어들은 본 발명 실시예에서의 기능을 고려하여 정의된 용어들로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
동영상 줌 기능은 디지털 기기의 카메라 렌즈들의 배열 거리 변경에 의한 시야각 조절을 통해 영상을 확대 또는 축소하는 기능을 말한다.
음향 줌 기능은 디지털 기기의 카메라 동영상 줌 기능과 연동되어 주변 잡음 제어 및 원거리 음원 제어를 통해 원거리 음원을 확대 또는 축소하는 기능을 말한다.
와이드(Wide) 모드는 평상시 영상을 촬영하기 위해 카레라 렌즈를 줌 아웃(Zoom Out)시킨 모드를 말한다.
텔리(Tele) 모드는 원거리 영상을 촬영하기 위해 카레라 렌즈를 줌 인(Zoom In)시킨 모드를 말한다.
디지털 기기의 카메라 동영상 줌 기능과 자연스럽게 음향 줌 기능을 연동하기 위해서는 디지털 기기의 카메라 모듈이 와이드(Wide) 모드에서 텔리(Tele) 모드로 조절됨에 따라 디지털 기기의 음성 입력 모듈도 와이드(Wide) 모드에서 텔리(Tele) 모드로 조절되어야 한다,
근거리 영상을 촬영하는 와이드(Wide) 모드에서는 주변의 배경 소리를 제한없이 받아들여도 되지만, 원거리 영상을 촬영하는 텔리(Tele) 모드에서는 디지털 기기의 카메라 렌즈들의 시야각이 줄어든 만큼 마이크로 유입되는 음성 신호도 한정된 방향성(Directivity)을 가져야 한다.
즉, 이 말은 원거리 영상을 촬영하는 텔리(Tele) 모드에서는 주변 잡음을 제거하고, 원거리 음원을 강화하는 방향으로 음향 줌 제어를 수행해야 한다는 것을 의미한다.
이에 부가하여, 본 발명 실시예들에서는 보다 현장감 있는 원거리 음원 재현을 위해 거리에 따른 볼륨 제어를 위한 가중치를 더 반영한 동영상 줌 제어 기능과 연동된 음향 줌 기술을 제안한다.
도 1 은 본 발명의 일 실시예에 따른 동영상 줌 제어 기능과 연동된 음향 줌 장치의 구성을 도시한 블럭도이다. 도면에 도시한 바와 같이, 이 실시예에 따른 동영상 줌 제어 기능과 연동된 음향 줌 장치(100)는 제1신호 생성부(110)와, 제2신호 생성부(120)와, 음향 줌 처리부(130)를 포함한다.
상기 제1신호 생성부(110)는 동영상 줌 제어 기능과 연동되어, 복수의 마이크를 통해 입력된 음원신호로부터 주변 잡음 제어를 위한 제1신호를 생성한다.
상기 제2신호 생성부(120)는 동영상 줌 제어 기능과 연동되어, 복수의 마이크를 통해 입력된 음원신호로부터 원거리 음원 제어를 위한 제2신호를 생성한다.
상기 음향 줌 처리부(130)는 상기 제1신호 생성부(110)에 의해 생성된 제1신 호와, 상기 제2신호 생성부(120)에 의해 생성된 제2신호 및 볼륨 제어를 위한 가중치인 제3신호를 반영하여 동영상 줌 제어에 따른 음향 줌 신호를 생성한다.
따라서, 디지털 기기의 카메라 모듈이 와이드(Wide) 모드에서 텔리(Tele) 모드로 조절되면, 음향 줌 장치(100)가 상기 제1신호 생성부(110)를 통해 복수의 마이크를 통해 입력된 음원신호로부터 주변 잡음 제어를 위한 제1신호를 생성한다. 이 때, 상기 제1신호는 주변 잡음을 제거하기 위한 신호이다.
또한, 음향 줌 장치(100)가 상기 제2신호 생성부(120)를 통해 복수의 마이크를 통해 입력된 음원신호로부터 원거리 음원 제어를 위한 제2신호를 생성한다. 이 때, 상기 제2신호는 원거리 음원을 강화하기 위한 신호이다.
그리고, 상기 제1신호 생성부(110)에 의해 제1신호가, 상기 제2신호 생성부(120)에 의해 제2신호가 생성되면, 음향 줌 장치(100)가 상기 음향 줌 처리부(130)를 통해 상기 제1신호와, 제2신호 및 볼륨 제어를 위한 가중치인 제3신호를 반영하여 동영상 줌 제어에 따른 음향 줌 신호를 생성한다.
이 때, 상기 음향 줌 신호는 주변 잡음을 제거하고, 원거리 음원을 강화하고, 거리에 따른 볼륨 제어 가중치가 고려된 신호로, 이렇게 함으로써 디지털 기기의 카메라 동영상 줌 기능과 자연스럽게 음향 줌 기능을 연동할 수 있어 보다 현장감 있는 동영상을 얻을 수 있게 된다.
부가적인 양상에 따르면, 상기 제1신호 생성부(110)는 빔형성부(111)와, 제1시간-주파수 변환부(112)와, 진폭비 변환부(113)를 포함한다.
상기 빔형성부(111)는 복수의 마이크를 통해 입력된 음원신호로부터 각각 전방 지향성이 강조된 신호와, 전방 지향성이 억제된 신호를 각각 생성한다.
예컨대, 상기 빔형성부(111)는 복수의 마이크를 통해 입력된 음원신호로부터 전방 지향성이 강조된 신호를 생성하는 제1빔형성부(111a)와, 전방 지향성이 억제된 신호를 생성하는 제2빔형성부(111b)로 구현할 수 있다.
예컨대, 상기 전방 지향성이 강조된 신호는 복수의 마이크로부터 입력된 음원신호를 가산한 신호로부터 얻을 수 있으며, 상기 전방 지향성이 억제된 신호는 복수의 마이크로부터 입력된 음원신호를 감산한 신호로부터 얻을 수 있다.
도 1 을 참조해 보면, 두 개의 마이크로부터 두 음원신호 x1(t), x2(t)가 입력되면, 상기 제1빔형성부(111a)가 두 음원신호 x1(t), x2(t)를 가산하고 이를 이분하여 전방 지향성이 강조된 신호 xF(t) = {x1(t) + x2(t)} / 2를 생성한다.
한편, 상기 제2빔형성부(111b)는 두 음원신호 x1(t), x2(t)를 감산하여 전방 지향성이 억제된 신호 xR(t) = x1(t) - x2(t)를 생성한다.
상기 제1시간-주파수 변환부(112)는 상기 빔형성부(111)에 의해 생성된 전방 지향성이 강조된 신호와, 전방 지향성이 억제된 신호 각각을 시간-주파수 영역으로 변환한다. 즉, 이 제1시간-주파수 변환부(112)는 상기 빔형성부(111)에 의해 생성된 시간 영역의 신호인 전방 지향성이 강조된 신호와, 전방 지향성이 억제된 신호 각각을 프레임 구간으로 나누고, 고속 푸리에 변환(FFT : Fast Fourier Transform) 등의 주파수 변환을 통해 각각 시간-주파수 영역(Spectrogram)으로 변환한다.
예컨대, 상기 제1시간-주파수 변환부(112)는 상기 제1빔형성부(111a)에 의해 전방 지향성이 강조된 신호를 시간-주파수 영역으로 변환하는 제1-1시간-주파수 변환부(112a)와, 상기 제2빔형성부(111b)에 의해 전방 지향성이 억제된 신호를 시간-주파수 영역으로 변환하는 제1-2시간-주파수 변환부(112b)로 구현할 수 있다.
도 1 을 참조해 보면, 전방 지향성이 강조된 시간 영역 신호인 xF(t)는 상기 제1-1시간-주파수 변환부(112a)에 의해 프레임 구간으로 나뉘고, 고속 푸리에 변환(FFT : Fast Fourier Transform)을 통해 주파수 변환되어 시간-주파수 영역(Spectrogram)인 YM(τ,f)로 변환되었다.
한편, 전방 지향성이 억제된 시간 영역 신호인 xR(t)는 상기 제1-2시간-주파수 변환부(112b)에 의해 프레임 구간으로 나뉘고, 고속 푸리에 변환(FFT : Fast Fourier Transform)을 통해 주파수 변환되어 시간-주파수 영역(Spectrogram)인 ZM(τ,f)로 변환되었다. 위 식에서 τ는 프레임 단위, f는 주파수 단위를 나타낸다.
상기 진폭비 변환부(113)는 상기 제1시간-주파수 변환부(112)에 의해 변환된 두 신호를 입력받아 동영상 줌 제어에 따른 진폭비 변환(Magnitude Ratio Transform)을 수행하여 주변 잡음 제어를 위한 제1신호를 생성한다. 이 때, 상기 진폭비 변환부(113)가 상기 제1시간-주파수 변환부(112)에 의해 변환된 두 신호간의 비율에 기초하여 진폭비 변환을 수행할 수 있다.
예컨대, 상기 진폭비 변환부(113)가 상기 제1시간-주파수 변환부(112)에 의 해 변환된 두 신호간의 비율과, 동영상 줌 제어에 따라 선형적으로 증감되는 제1값을 반영하여 주변 잡음 제어를 위한 제1신호를 생성하도록 구현할 수 있다.
상기 제1시간-주파수 변환부(112)에 의해 변환된 두 신호 YM(τ,f)와 ZM(τ,f)의 시간-주파수 영역의 상대적인 크기 M(τ,f) = |YM(τ,f)| / (|ZM(τ,f)| + ε)는 국부적인 SNR(Local Signal to Noise Ratio)을 나타낸다고 볼 수 있다. 상기 ε는 매우 작은 상수로 분모가 0이되는 것을 방지한다.
SNR은 원래의 주변 배경 음원에 대한 잡음 비율로, 상기 진폭비 변환부(113)가 M(τ,f) 값이 일정값 이상인 경우엔 강화시키고, 일정값 미만인 경우는 억제시키도록 상기 진폭비 변환부(113)가 [0,1] 사이의 크기를 갖는 비선형 함수를 통과시켜 주변 잡음 제어를 위한 제1신호를 생성한다.
상기 비선형 함수가 f(x,α1,α2) = 1 / {1 + exp(-α1·(x - α2))}이고, 생성된 주변 잡음 제어를 위한 제1신호가 M'(τ,f) = f(M(τ,f),α1,α2)라면, M'(τ,f) 값이 1에 가까우면 대상 음원(Dominant Sound)이라 간주하여 강화시키고, 0에 가까우면 비대상 음원(Non-dominant Sound) 즉 잡음이라 간주하여 억제시킨다.
위의 식에서 기울기(Slope) α1은 |YM(τ,f)|가 |ZM(τ,f)|보다 크면 클수록 즉, 주변 잡음이 적으면 적을수록 작은 값을 가지며, α2가 동영상 줌 제어 기능과 연동된 파라미터 값 즉, 동영상 줌 제어에 따라 선형적으로 증감되는 제1값으로 와이드(Wide) 모드에서는 작은 값을 갖고, 텔리(Tele) 모드에서는 큰 값을 가지도록 선형적으로 증감된다. 도 2 는 동영상 줌 제어 기능과 연동된 주변 잡음 제어를 위 한 파라미터 α2의 변동에 따른 비선형 함수 그래프를 예시한 도면이다.
따라서, 상기 α2 값 조정을 통해 와이드(Wide) 모드에서는 주변 잡음을 적게 감쇄시키고, 텔리(Tele) 모드에서는 주변 잡음을 많이 감쇄시킴에 의해 동영상 줌 제어 기능과 연동되어 음향 줌 동작시 주변 잡음을 제거할 수 있다.
부가적인 양상에 따르면, 상기 제2신호 생성부(120)는 제2시간-주파수 변환부(121)와, 위상차 변환부(122)를 포함한다.
상기 제2시간-주파수 변환부(121)는 복수의 마이크로부터 입력된 음원신호 각각을 시간-주파수 영역으로 변환한다.
즉, 이 제2시간-주파수 변환부(121)는 복수의 마이크로부터 입력된 음원신호 각각을 프레임 구간으로 나누고, 고속 푸리에 변환(FFT : Fast Fourier Transform) 등의 주파수 변환을 통해 각각 시간-주파수 영역(Spectrogram)으로 변환한다.
예컨대, 상기 제2시간-주파수 변환부(121)는 하나의 마이크로부터 입력된 음원신호를 시간-주파수 영역으로 변환하는 제2-1시간-주파수 변환부(121a)와, 다른 하나의 마이크로부터 입력된 음원신호를 시간-주파수 영역으로 변환하는 제2-2시간-주파수 변환부(121b)로 구현할 수 있다.
도 1 을 참조해 보면, 두 음원신호 x1(t)와, x2(t)가 각각 제2-1시간-주파수 변환부(121a)와, 제2-2시간-주파수 변환부(121b)에 의해 프레임 구간으로 나뉘고, 고속 푸리에 변환(FFT : Fast Fourier Transform)을 통해 주파수 변환되어 각각 시 간-주파수 영역(Spectrogram)인 X1(τ,f)와, X2(τ,f)로 변환되었다. 위 식에서 τ는 프레임 단위, f는 주파수 단위를 나타낸다.
상기 위상차 변환부(122)는 상기 제2시간-주파수 변환부(121)에 의해 변환된 두 신호를 입력받아 동영상 줌 제어에 따른 위상차 변환을 수행하여 원거리 음원 제어를 위한 제2신호를 생성한다. 이 때, 상기 위상차 변환부(122)가 상기 제2시간-주파수 변환부(121)에 의해 변환된 두 신호간의 위상차에 기초하여 위상차 변환을 수행할 수 있다.
예컨대, 상기 위상차 변환부(122)가 상기 제2시간-주파수 변환부(121)에 의해 변환된 두 신호간의 위상차와, 동영상 줌 제어에 따라 선형적으로 증감되는 제2값을 반영하여 제2신호를 생성하도록 구현할 수 있다.
상기 제2시간-주파수 변환부(121)에 의해 변환된 두 신호 X1(τ,f)와, X2(τ,f)간의 위상차는 θ(τ,f) = |∠X1(τ,f) - ∠X2(τ,f)|가 된다. 위상차가 작을수록 마이크를 통해 입력되는 신호가 전방(Front Direction) 신호 성분이 많고, 위상차가 클수록 마이크를 통해 입력되는 신호가 모든 방향(Omni Direction) 신호 성분이 많다고 볼 수 있다.
위상차 신호 θ(τ,f)가 [0,1] 사이의 크기를 갖도록 상기 위상차 변환부(122)가 비선형 함수를 통과시켜 원거리 음원 제어를 위한 제2신호를 생성한다.
상기 비선형 함수가 g(x,β1,β2) = 1 / {1 + exp(β1·(x - β2))}이고, 생성된 원거리 음원 제어를 위한 제2신호가 θ'(τ,f) = g(M(τ,f),β1,β2)라면, θ'(τ,f) 값이 0에 가까우면 와이드(Wide) 모드라 간주하여 주변 음원이 강조되고, 1에 가까우면 텔리(Tele) 모드라 간주하여 원거리 음원을 강조시킨다.
위의 식에서 기울기(Slope) β1은 임의의 상수값이고, β2가 동영상 줌 제어 기능과 연동된 파라미터 값 즉, 동영상 줌 제어에 따라 선형적으로 증감되는 제2값으로 와이드(Wide) 모드에서는 큰 값을 갖고, 텔리(Tele) 모드에서는 작은 값을 가지도록 선형적으로 증감된다. 도 3 은 동영상 줌 제어 기능과 연동된 파라미터 β2의 변동에 따른 비선형 함수 그래프를 예시한 도면이다.
따라서, 상기 β2 값 조정을 통해 와이드(Wide) 모드에서는 주변 음원을 강조시키고, 텔리(Tele) 모드에서는 원거리 음원을 강조시킴에 의해 동영상 줌 제어 기능과 연동되어 음향 줌 동작시 원거리 음원을 강조할 수 있다.
부가적인 양상에 따르면, 상기 음향 줌 처리부(130)가 제1가산부(131)와, 제1승산부(132)와, 제2가산부(133)와, 제2승산부(134)와, 시간-주파수 합성부(135)를 포함한다.
상기 음향 줌 처리부(130)는 어떤 음원에 다른 음원을 합성하여 청취 능력을 감소시키는 매스킹 효과(Masking Effect)를 이용해 동영상 줌 제어 기능과 연동되는 음향 줌 신호를 얻도록 하는 것으로, 전방 지향성이 강조된 신호에 합성될 매스킹(Masking) 신호를 생성한다.
상기 제1가산부(131)는 상기 제1신호와, 제2신호를 가산한다. 즉, 상기 제1가산부(131)는 상기 제1신호 생성부(110)에 의해 출력되는 주변 잡음 제어를 위한 제1신호 M'(τ,f)과, 상기 제2신호 생성부(120)에 의해 출력되는 원거리 음원 제어를 위한 제2신호 θ'(τ,f)를 가산하여 매스킹 필터(Masking Filter) 함수로 설정한다. 그러면, 상기 제1가산부(131)에 의해 설정되는 매스킹 필터 함수는 M'(τ,f) + θ'(τ,f)가 된다.
상기 제1승산부(132)는 상기 제1가산부(131)에 의해 가산된 신호에 제3신호를 승산한다. 이 때, 상기 제3신호가 동영상 줌 제어에 따라 비선형적으로 증감되는 파라미터로, 볼륨 제어를 위한 가중치이다. 예컨대, 상기 제3신호가 음압은 거리의 제곱에 반비례하는 특성에 따라 비선형적으로 증감되도록 λ(x) = x2으로 정의할 수 있다. 그러면, 상기 제1승산부(132)에 의해 승산된 값은 λ·(M'(τ,f) + θ'(τ,f))가 된다.
상기 제2가산부(133)는 상기 제1승산부(132)에 의해 승산된 신호에 기준 매스킹 상수값을 가산한다. 상기 기준 매스킹 상수값을 ε라 하면, 상기 제2가산부(133)에 의해 가산된 값이 ε + λ·(M'(τ,f) + θ'(τ,f))가 된다. 이 값이 전방 지향성이 강조된 신호에 합성될 매스킹(Masking) 신호가 된다.
상기 제2승산부(134)는 상기 제2가산부(133)에 의해 가산된 신호에 상기 제1시간-주파수 변환부(112)에 의해 변환된 전방 지향성이 강조된 신호를 승산한다. 즉, 상기 제2승산부(134)를 통해 상기 제1시간-주파수 변환부(112)에 의해 변환된 전방 지향성이 강조된 신호 YM(τ,f)에 상기 제2가산부(133)에 의해 생성된 매스킹(Masking) 신호를 승산함으로써 매스킹 효과(Masking Effect)를 이용해 동영상 줌 제어에 따른 음향 줌 신호를 생성한다.
상기 제2승산부(134)에 의해 생성되는 신호가 O(τ,f)라면, O(τ,f) = {ε + λ·(M'(τ,f) + θ'(τ,f))}·YM(τ,f)가 된다. 와이드(Wide) 모드일 경우 λ = 0, O(τ,f) = ε·YM(τ,f)이 되어 주변 잡음 제거와 원거리 음원 강화는 이루어지지 않고, 텔리(Tele) 모드일 경우 λ = 1, O(τ,f) = {ε + M'(τ,f) + θ'(τ,f)}·YM(τ,f)이 되어 주변 잡음 제거와 원거리 음원 강화가 이루어지게 된다.
따라서, 제3신호 λ가 동영상 줌 제어에 따라 비선형적으로 증감되어 볼륨 제어를 위한 가중치로 동작하게 되고, 이로 인해 주변 잡음 제어, 원거리 음원 제어, 볼륨 제어를 위한 가중치가 반영된 동영상 줌 제어 기능에 연동된 음향 줌 신호를 얻게 된다.
상기 시간-주파수 합성부(135)는 상기 제2승산부(134)에 의해 승산된 신호를 시간-주파수 합성하여 동영상 줌 제어에 따른 음향 줌 신호를 생성한다. 상기 제2승산부(134)에 의해 승산된 신호 O(τ,f)는 시간-주파수 영역 신호이므로, 상기 시간-주파수 합성부(135)는 이를 시간-주파수 합성하여 시간 영역 신호인 동영상 줌 제어에 따른 음향 줌 신호 O(t)를 생성한다.
따라서, 위와 같이함에 의해 상기 음향 줌 처리부(130)가 매스킹 효과(Masking Effect)를 이용해 동영상 줌 제어 기능과 연동되는 음향 줌 제어 신호를 얻고, 이를 전방 지향성이 강조된 신호와 합성함으로써 주변 잡음 제어를 위한 신호 처리와, 원거리 음원 제어를 위한 신호 처리 및 볼륨 제어를 위한 가중치가 반영되게 되어 디지털 기기의 카메라 동영상 줌과 자연스럽게 연동되는 음향 줌된 음원을 얻을 수 있어 보다 현장감 있는 동영상을 얻을 수 있다.
도 4 내지 도 7 을 참조하여 상기한 실시예에 따른 동영상 줌 제어 기능과 연동된 음향 줌 장치의 음향 줌 제어 동작을 알아본다. 도 4 는 본 발명의 일 실시예에 따른 동영상 줌 제어 기능과 연동된 음향 줌 방법의 흐름도이다.
도면에 도시한 바와 같이, 동영상 줌 제어 기능과 연동된 음향 줌 장치가 제1신호 생성단계(S100)에서 동영상 줌 제어 기능과 연동되어, 복수의 마이크를 통해 입력된 음원신호로부터 주변 잡음 제어를 위한 제1신호를 생성한다.
그 다음, 동영상 줌 제어 기능과 연동된 음향 줌 장치가 제2신호 생성단계(S200)에서 동영상 줌 제어 기능과 연동되어, 복수의 마이크를 통해 입력된 음원신호로부터 원거리 음원 제어를 위한 제2신호를 생성한다.
그 다음, 동영상 줌 제어 기능과 연동된 음향 줌 장치가 음향 줌 처리단계(S300)에서 상기 제1신호 생성단계(S100)에 의해 생성된 제1신호와, 상기 제2신호 생성단계(S200)에 의해 생성된 제2신호 및 볼륨 제어를 위한 가중치인 제3신호를 반영하여 동영상 줌 제어에 따른 음향 줌 신호를 생성한다.
따라서, 디지털 기기의 카메라 모듈이 와이드(Wide) 모드에서 텔리(Tele) 모드로 조절되면, 동영상 줌 제어 기능과 연동된 음향 줌 장치가 복수의 마이크를 통해 입력된 음원신호로부터 주변 잡음 제어를 위한 제1신호를 생성하고, 복수의 마이크를 통해 입력된 음원신호로부터 원거리 음원 제어를 위한 제2신호를 생성하고, 이들 생성된 제1신호와, 제2신호 및 볼륨 제어를 위한 가중치인 제3신호를 반영하여 전방 지향성이 강조된 신호와 매스킹(Masking) 처리함으로써 동영상 줌 제어에 따른 음향 줌 신호를 생성한다.
이 때, 상기 음향 줌 신호는 주변 잡음을 제거하고, 원거리 음원을 강화하고, 거리에 따른 볼륨 제어 가중치가 고려된 신호로, 이렇게 함으로써 디지털 기기의 카메라 동영상 줌 기능과 자연스럽게 음향 줌 기능을 연동할 수 있어 보다 현장감 있는 동영상을 얻을 수 있게 된다.
도 5 는 주변 잡음 제어를 위한 신호 처리 동작의 일 실시예를 도시한 흐름도이다. 도면에 도시한 바와 같이, 동영상 줌 제어 기능과 연동되어, 복수의 마이크를 통해 입력된 음원신호로부터 주변 잡음 제어를 위한 제1신호를 생성하는 제1신호 생성단계(S100)는 빔형성단계(S110)와, 제1시간-주파수 변환단계(S120)와, 진폭비 변환단계(S130)를 포함한다.
주변 잡음 제어를 위한 제1신호를 생성하기 위해 먼저, 동영상 줌 제어 기능과 연동된 음향 줌 장치가 빔형성단계(S110)에서 복수의 마이크를 통해 입력된 음원신호로부터 각각 전방 지향성이 강조된 신호와, 전방 지향성이 억제된 신호를 각각 생성한다. 상기 전방 지향성이 강조된 신호와, 전방 지향성이 억제된 신호를 생성하는 것과 관련해서는 기 설명하였으므로, 이에 대한 중복 설명은 생략한다.
그 다음, 동영상 줌 제어 기능과 연동된 음향 줌 장치가 제1시간-주파수 변환단계(S120)에서 상기 빔형성단계(S110)에 의해 생성된 전방 지향성이 강조된 신 호와, 전방 지향성이 억제된 신호 각각을 시간-주파수 영역으로 변환한다. 상기 전방 지향성이 강조된 신호와, 전방 지향성이 억제된 신호 각각을 시간-주파수 영역으로 변환하는 것과 관련해서는 기 설명하였으므로, 이에 대한 중복 설명은 생략한다.
그 다음, 동영상 줌 제어 기능과 연동된 음향 줌 장치가 진폭비 변환단계(S130)에서 상기 제1시간-주파수 변환단계(S120)에 의해 변환된 두 신호를 입력받아 동영상 줌 제어에 따른 진폭비 변환을 수행하여 주변 잡음 제어를 위한 제1신호를 생성한다.
이 때, 상기 진폭비 변환단계(S130)에서 상기 제1시간-주파수 변환단계(S120)에 의해 변환된 두 신호간의 비율에 기초하여 진폭비 변환을 수행하도록 구현할 수 있다. 예컨대, 상기 진폭비 변환단계(S130)에서 상기 제1시간-주파수 변환단계(S120)에 의해 변환된 두 신호간의 비율과, 동영상 줌 제어에 따라 선형적으로 증감되는 제1값을 반영하여 주변 잡음 제어를 위한 제1신호를 생성할 수 있다.
상기 동영상 줌 제어에 따른 진폭비 변환을 수행하여 주변 잡음 제어를 위한 제1신호를 생성하는 것과 관련해서는 기 설명하였으므로, 이에 대한 중복 설명은 생략한다.
따라서, 위와 같이함에 의해 상기 제1신호 생성단계(S100)를 통해 복수의 마이크를 통해 입력된 음원신호로부터 주변 잡음 제어를 위한 제1신호를 생성할 수 있게 된다.
도 6 은 원거리 음원 제어를 위한 신호 처리 동작의 일 실시예를 도시한 흐름도이다. 도면에 도시한 바와 같이, 동영상 줌 제어 기능과 연동되어, 복수의 마이크를 통해 입력된 음원신호로부터 원거리 음원 제어를 위한 제2신호를 생성하는 제2신호 생성단계(S200)는 제2시간-주파수 변환단계(S210)와, 위상차 변환단계(S220)를 포함한다.
원거리 음원 제어를 위한 제2신호를 생성하기 위해 먼저, 동영상 줌 제어 기능과 연동된 음향 줌 장치가 제2시간-주파수 변환단계(S210)에서 복수의 마이크로부터 입력된 음원신호 각각을 시간-주파수 영역으로 변환한다. 복수의 마이크로부터 입력된 음원신호 각각을 시간-주파수 영역으로 변환하는 것과 관련해서는 기 설명하였으므로, 이에 대한 중복 설명은 생략한다.
그 다음, 동영상 줌 제어 기능과 연동된 음향 줌 장치가 위상차 변환단계(S220)에서 상기 제2시간-주파수 변환단계(S210)에 의해 변환된 두 신호를 입력받아 동영상 줌 제어에 따른 위상차 변환을 수행하여 원거리 음원 제어를 위한 제2신호를 생성한다.
이 때, 상기 위상차 변환단계(S220)에서 상기 제2시간-주파수 변환단계(S210)에 의해 변환된 두 신호간의 위상차에 기초하여 위상차 변환을 수행하도록 구현할 수 있다. 예컨대, 상기 위상차 변환단계(S220)에서 상기 제2시간-주파수 변환단계(S210)에 의해 변환된 두 신호간의 위상차와, 동영상 줌 제어에 따라 선형적으로 증감되는 제2값을 반영하여 제2신호를 생성할 수 있다.
상기 동영상 줌 제어에 따른 위상차 변환을 수행하여 원거리 음원 제어를 위 한 제2신호를 생성하는 것과 관련해서는 기 설명하였으므로, 이에 대한 중복 설명은 생략한다.
따라서, 위와 같이함에 의해 상기 제2신호 생성단계(S200)를 통해 복수의 마이크를 통해 입력된 음원신호로부터 원거리 음원 제어를 위한 제2신호를 생성할 수 있게 된다.
도 7 은 볼륨 제어를 위한 가중치를 반영하여 동영상 줌 제어에 따른 음향 줌 신호를 생성하는 동작의 일 실시예를 도시한 흐름도이다. 도면에 도시한 바와 같이, 볼륨 제어를 위한 가중치를 반영하여 동영상 줌 제어에 따른 음향 줌 신호를 생성하는 음향 줌 처리단계(S300)는 제1가산단계(S310)와, 제1승산단계(S320)와, 제2가산단계(S330)와, 제2승산단계(S340)와, 시간-주파수 합성단계(S350)를 포함한다.
볼륨 제어를 위한 가중치를 반영하여 동영상 줌 제어에 따른 음향 줌 신호를 생성하기 위해 동영상 줌 제어 기능과 연동된 음향 줌 장치가 제1가산단계(S310)에서 상기 제1신호 생성단계(S100)에 의해 생성된 제1신호와, 상기 제2신호 생성단계(S200)에 의해 생성된 제2신호를 가산한다. 상기 제1신호와, 제2신호를 가산하는 것과 관련해서는 기 설명하였으므로, 이에 대한 중복 설명은 생략한다.
그 다음, 동영상 줌 제어 기능과 연동된 음향 줌 장치가 제1승산단계(S320)에서 상기 제1가산단계(S310)에 의해 가산된 신호에 볼륨 제어를 위한 가중치인 제3신호를 승산한다. 이 때, 상기 제3신호는 동영상 줌 제어에 따라 비선형적으로 증 감되도록 구현할 수 있다. 예컨대, 상기 제3신호가 음압은 거리의 제곱에 반비례하는 특성에 따라 비선형적으로 증감될 수 있다. 상기 제1신호와 제2신호를 가산한 신호에 제3신호를 승산하는 것과 관련해서는 기 설명하였으므로, 이에 대한 중복 설명은 생략한다.
그 다음, 동영상 줌 제어 기능과 연동된 음향 줌 장치가 제2가산단계(S330)에서 상기 제1승산단계(S320)에 의해 승산된 신호에 기준 매스킹 상수값을 가산한다. 상기 기준 매스킹 상수값을 가산하는 것과 관련해서는 기 설명하였으므로, 이에 대한 중복 설명은 생략한다.
그 다음, 동영상 줌 제어 기능과 연동된 음향 줌 장치가 제2승산단계(S340)에서 상기 제2가산단계(S330)에 의해 가산된 신호에 상기 제1시간-주파수 변환단계(S120)에 의해 변환된 전방 지향성이 강조된 신호를 승산한다. 상기 가산된 신호에 전방 지향성이 강조된 신호를 승산하는 것과 관련해서는 기 설명하였으므로, 이에 대한 중복 설명은 생략한다.
그 다음, 동영상 줌 제어 기능과 연동된 음향 줌 장치가 시간-주파수 합성단계(S350)에서 상기 제2승산단계(S340)에 의해 승산된 신호를 시간-주파수 합성하여 동영상 줌 제어에 따른 음향 줌 신호를 생성한다. 상기 승산된 시간-주파수 영역 신호를 시간-주파수 합성하여 시간 영역 신호인 동영상 줌 제어에 따른 음향 줌 신호를 생성하는 것과 관련해서는 기 설명하였으므로, 이에 대한 중복 설명은 생략한다.
위와 같이함에 의해 상기 음향 줌 처리단계(S300)를 통해 볼륨 제어를 위한 가중치를 반영하여 동영상 줌 제어에 따른 음향 줌 제어 신호를 생성하고, 매스킹 효과(Masking Effect)를 이용해 이를 전방 지향성이 강조된 신호와 합성함으로써 주변 잡음 제어를 위한 신호 처리와, 원거리 음원 제어를 위한 신호 처리 및 볼륨 제어를 위한 가중치가 반영된 동영상 줌 제어 기능과 연동되는 음향 줌 신호를 얻을 수 있다.
따라서, 디지털 기기의 카메라 동영상 줌과 자연스럽게 연동되는 음향 줌된 음원을 얻을 수 있어 보다 현장감 있는 동영상을 얻을 수 있으므로, 상기에서 제시한 목적을 달성할 수 있게 된다.
본 발명은 첨부된 도면에 의해 참조되는 바람직한 실시예를 중심으로 기술되었지만, 이러한 기재로부터 후술하는 특허청구범위에 의해 포괄되는 범위 내에서 본 발명의 범주를 벗어남이 없이 다양한 변형이 가능하다는 것은 명백하다.
도 1 은 본 발명의 일 실시예에 따른 동영상 줌 제어 기능과 연동된 음향 줌 장치의 구성을 도시한 블럭도
도 2 는 동영상 줌 제어 기능과 연동된 주변 잡음 제어를 위한 파라미터의 변동에 따른 비선형 함수 그래프를 예시한 도면
도 3 은 동영상 줌 제어 기능과 연동된 원거리 음원 제어를 위한 파라미터의 변동에 따른 비선형 함수 그래프를 예시한 도면
도 4 는 본 발명의 일 실시예에 따른 동영상 줌 제어 기능과 연동된 음향 줌 방법의 흐름도
도 5 는 주변 잡음 제어를 위한 신호 처리 동작의 일 실시예를 도시한 흐름도
도 6 은 원거리 음원 제어를 위한 신호 처리 동작의 일 실시예를 도시한 흐름도
도 7 은 볼륨 제어를 위한 가중치를 반영하여 동영상 줌 제어에 따른 음향 줌 신호를 생성하는 동작의 일 실시예를 도시한 흐름도
<도면의 주요 부분에 대한 부호의 설명>
100 : 음향 줌 장치 110 : 제1신호 생성부
111 : 빔형성부 112 : 제1시간-주파수 변환부
113 : 진폭비 변환부 120 : 제2신호 생성부
121 : 제2시간-주파수 변환부 122 : 위상차 변환부
130 : 음향 줌 처리부 131 : 제1가산부
132 : 제1승산부 133 : 제2가산부
134 : 제2승산부 135 : 시간-주파수 합성부

Claims (20)

  1. 동영상 줌 제어 기능과 연동되어, 복수의 마이크를 통해 입력된 음원신호로부터 주변 잡음 제어를 위한 제1신호를 생성하는 제1신호 생성부와;
    동영상 줌 제어 기능과 연동되어, 복수의 마이크를 통해 입력된 음원신호로부터 원거리 음원 제어를 위한 제2신호를 생성하는 제2신호 생성부와;
    상기 제1신호 생성부에 의해 생성된 제1신호와, 상기 제2신호 생성부에 의해 생성된 제2신호 및 볼륨 제어를 위한 가중치인 제3신호를 전방 지향성이 강조된 신호와 매스킹(Masking) 처리하여 동영상 줌 제어에 따른 음향 줌 신호를 생성하는 음향 줌 처리부를;
    포함하는 동영상 줌 제어 기능과 연동된 음향 줌 장치.
  2. 제 1 항에 있어서,
    상기 제1신호 생성부는:
    복수의 마이크를 통해 입력된 음원신호로부터 각각 전방 지향성이 강조된 신호와, 전방 지향성이 억제된 신호를 각각 생성하는 빔형성부와;
    상기 빔형성부에 의해 생성된 전방 지향성이 강조된 신호와, 전방 지향성이 억제된 신호 각각을 시간-주파수 영역으로 변환하는 제1시간-주파수 변환부와;
    상기 제1시간-주파수 변환부에 의해 변환된 두 신호를 입력받아 동영상 줌 제어에 따른 진폭비 변환을 수행하여 주변 잡음 제어를 위한 제1신호를 생성하는 진폭비 변환부를;
    포함하는 동영상 줌 제어 기능과 연동된 음향 줌 장치.
  3. 제 2 항에 있어서,
    상기 진폭비 변환부가:
    상기 제1시간-주파수 변환부에 의해 변환된 두 신호간의 비율에 기초하여 진폭비 변환을 수행하는 동영상 줌 제어 기능과 연동된 음향 줌 장치.
  4. 제 3 항에 있어서,
    상기 진폭비 변환부가:
    상기 제1시간-주파수 변환부에 의해 변환된 두 신호간의 비율과, 동영상 줌 제어에 따라 선형적으로 증감되는 제1값을 반영하여 주변 잡음 제어를 위한 제1신호를 생성하는 동영상 줌 제어 기능과 연동된 음향 줌 장치.
  5. 제 1 항에 있어서,
    상기 제2신호 생성부는:
    복수의 마이크로부터 입력된 음원신호 각각을 시간-주파수 영역으로 변환하는 제2시간-주파수 변환부와;
    상기 제2시간-주파수 변환부에 의해 변환된 두 신호를 입력받아 동영상 줌 제어에 따른 위상차 변환을 수행하여 원거리 음원 제어를 위한 제2신호를 생성하는 위상차 변환부를;
    포함하는 동영상 줌 제어 기능과 연동된 음향 줌 장치.
  6. 제 5 항에 있어서,
    상기 위상차 변환부가:
    상기 제2시간-주파수 변환부에 의해 변환된 두 신호간의 위상차에 기초하여 위상차 변환을 수행하는 동영상 줌 제어 기능과 연동된 음향 줌 장치.
  7. 제 5 항에 있어서,
    상기 위상차 변환부가:
    상기 제2시간-주파수 변환부에 의해 변환된 두 신호간의 위상차와, 동영상 줌 제어에 따라 선형적으로 증감되는 제2값을 반영하여 제2신호를 생성하는 동영상 줌 제어 기능과 연동된 음향 줌 장치.
  8. 제 1 항에 있어서,
    상기 제3신호가:
    동영상 줌 제어에 따라 비선형적으로 증감되는 동영상 줌 제어 기능과 연동된 음향 줌 장치.
  9. 제 8 항에 있어서,
    상기 제3신호가:
    음압은 거리의 제곱에 반비례하는 특성에 따라 비선형적으로 증감되는 동영상 줌 제어 기능과 연동된 음향 줌 장치.
  10. 제 2 항에 있어서,
    상기 음향 줌 처리부가:
    상기 제1신호와, 제2신호를 가산하는 제1가산부와;
    상기 제1가산부에 의해 가산된 신호에 제3신호를 승산하는 제1승산부와;
    상기 제1승산부에 의해 승산된 신호에 기준 매스킹 상수값을 가산하는 제2가산부와;
    상기 제2가산부에 의해 가산된 신호에 상기 제1시간-주파수 변환부에 의해 변환된 전방 지향성이 강조된 신호를 승산하는 제2승산부와;
    상기 제2승산부에 의해 승산된 신호를 시간-주파수 합성하여 동영상 줌 제어에 따른 음향 줌 신호를 생성하는 시간-주파수 합성부를;
    포함하는 동영상 줌 제어 기능과 연동된 음향 줌 장치.
  11. 동영상 줌 제어 기능과 연동되어, 복수의 마이크를 통해 입력된 음원신호로부터 주변 잡음 제어를 위한 제1신호를 생성하는 제1신호 생성단계와;
    동영상 줌 제어 기능과 연동되어, 복수의 마이크를 통해 입력된 음원신호로부터 원거리 음원 제어를 위한 제2신호를 생성하는 제2신호 생성단계와;
    상기 제1신호 생성단계에 의해 생성된 제1신호와, 상기 제2신호 생성단계에 의해 생성된 제2신호 및 볼륨 제어를 위한 가중치인 제3신호를 전방 지향성이 강조된 신호와 매스킹(Masking) 처리하여 동영상 줌 제어에 따른 음향 줌 신호를 생성하는 음향 줌 처리단계를;
    포함하는 동영상 줌 제어 기능과 연동된 음향 줌 방법.
  12. 제 11 항에 있어서,
    상기 제1신호 생성단계는:
    복수의 마이크를 통해 입력된 음원신호로부터 각각 전방 지향성이 강조된 신호와, 전방 지향성이 억제된 신호를 각각 생성하는 빔형성단계와;
    상기 빔형성단계에 의해 생성된 전방 지향성이 강조된 신호와, 전방 지향성이 억제된 신호 각각을 시간-주파수 영역으로 변환하는 제1시간-주파수 변환단계와;
    상기 제1시간-주파수 변환단계에 의해 변환된 두 신호를 입력받아 동영상 줌 제어에 따른 진폭비 변환을 수행하여 주변 잡음 제어를 위한 제1신호를 생성하는 진폭비 변환단계를;
    포함하는 동영상 줌 제어 기능과 연동된 음향 줌 방법.
  13. 제 12 항에 있어서,
    상기 진폭비 변환단계에서:
    상기 제1시간-주파수 변환단계에 의해 변환된 두 신호간의 비율에 기초하여 진폭비 변환을 수행하는 동영상 줌 제어 기능과 연동된 음향 줌 방법.
  14. 제 13 항에 있어서,
    상기 진폭비 변환단계에서:
    상기 제1시간-주파수 변환단계에 의해 변환된 두 신호간의 비율과, 동영상 줌 제어에 따라 선형적으로 증감되는 제1값을 반영하여 주변 잡음 제어를 위한 제1신호를 생성하는 동영상 줌 제어 기능과 연동된 음향 줌 방법.
  15. 제 11 항에 있어서,
    상기 제2신호 생성단계에서:
    복수의 마이크로부터 입력된 음원신호 각각을 시간-주파수 영역으로 변환하는 제2시간-주파수 변환단계와;
    상기 제2시간-주파수 변환단계에 의해 변환된 두 신호를 입력받아 동영상 줌 제어에 따른 위상차 변환을 수행하여 원거리 음원 제어를 위한 제2신호를 생성하는 위상차 변환단계를;
    포함하는 동영상 줌 제어 기능과 연동된 음향 줌 방법.
  16. 제 15 항에 있어서,
    상기 위상차 변환단계에서:
    상기 제2시간-주파수 변환단계에 의해 변환된 두 신호간의 위상차에 기초하여 위상차 변환을 수행하는 동영상 줌 제어 기능과 연동된 음향 줌 방법.
  17. 제 15 항에 있어서,
    상기 위상차 변환단계에서:
    상기 제2시간-주파수 변환단계에 의해 변환된 두 신호간의 위상차와, 동영상 줌 제어에 따라 선형적으로 증감되는 제2값을 반영하여 제2신호를 생성하는 동영상 줌 제어 기능과 연동된 음향 줌 방법.
  18. 제 11 항에 있어서,
    상기 제3신호가:
    동영상 줌 제어에 따라 비선형적으로 증감되는 동영상 줌 제어 기능과 연동된 음향 줌 방법.
  19. 제 18 항에 있어서,
    상기 제3신호가:
    음압은 거리의 제곱에 반비례하는 특성에 따라 비선형적으로 증감되는 동영상 줌 제어 기능과 연동된 음향 줌 방법.
  20. 제 12 항에 있어서,
    상기 음향 줌 처리단계는:
    상기 제1신호와, 제2신호를 가산하는 제1가산단계와;
    상기 제1가산단계에 의해 가산된 신호에 제3신호를 승산하는 제1승산단계와;
    상기 제1승산단계에 의해 승산된 신호에 기준 매스킹 상수값을 가산하는 제2가산단계와;
    상기 제2가산단계에 의해 가산된 신호에 상기 제1시간-주파수 변환단계에 의해 변환된 전방 지향성이 강조된 신호를 승산하는 제2승산단계와;
    상기 제2승산단계에 의해 승산된 신호를 시간-주파수 합성하여 동영상 줌 제어에 따른 음향 줌 신호를 생성하는 시간-주파수 합성단계를;
    포함하는 동영상 줌 제어 기능과 연동된 음향 줌 방법.
KR1020080112733A 2008-11-13 2008-11-13 동영상 줌 제어 기능과 연동된 음향 줌 장치 및 방법 KR101330771B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080112733A KR101330771B1 (ko) 2008-11-13 2008-11-13 동영상 줌 제어 기능과 연동된 음향 줌 장치 및 방법
US12/501,260 US8897454B2 (en) 2008-11-13 2009-07-10 Sound zooming apparatus and method synchronized with moving picture zooming function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080112733A KR101330771B1 (ko) 2008-11-13 2008-11-13 동영상 줌 제어 기능과 연동된 음향 줌 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100053889A KR20100053889A (ko) 2010-05-24
KR101330771B1 true KR101330771B1 (ko) 2013-11-19

Family

ID=42164876

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080112733A KR101330771B1 (ko) 2008-11-13 2008-11-13 동영상 줌 제어 기능과 연동된 음향 줌 장치 및 방법

Country Status (2)

Country Link
US (1) US8897454B2 (ko)
KR (1) KR101330771B1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009150829A (ja) * 2007-12-21 2009-07-09 Olympus Corp 生体試料の観察方法
US9076239B2 (en) * 2009-04-30 2015-07-07 Stmicroelectronics S.R.L. Method and systems for thumbnail generation, and corresponding computer program product
US8698911B2 (en) * 2009-10-28 2014-04-15 Nikon Corporation Sound recording device, imaging device, photographing device, optical device, and program
DE102010018979A1 (de) * 2010-05-03 2011-11-03 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zum Bestimmen der 3D-Koordinaten eines Objekts
US20120050491A1 (en) * 2010-08-27 2012-03-01 Nambi Seshadri Method and system for adjusting audio based on captured depth information
US20120082322A1 (en) * 2010-09-30 2012-04-05 Nxp B.V. Sound scene manipulation
US9100633B2 (en) 2010-11-18 2015-08-04 Lg Electronics Inc. Electronic device generating stereo sound synchronized with stereographic moving picture
TWI469528B (zh) * 2011-07-14 2015-01-11 Univ Nat Sun Yat Sen 直接頻率合成器
JP5284451B2 (ja) * 2011-11-30 2013-09-11 株式会社東芝 電子機器及び音声出力方法
KR101988897B1 (ko) * 2013-01-25 2019-06-13 엘지전자 주식회사 이동 단말기 및 그의 오디오 줌잉 공유방법
KR102094011B1 (ko) 2013-06-13 2020-03-26 삼성전자주식회사 전자 장치에서 노이즈를 제거하기 위한 장치 및 방법
CN104934037B (zh) * 2015-06-02 2019-06-25 阔地教育科技有限公司 一种直录播互动***中的音频处理方法及装置
TWI634751B (zh) * 2017-06-19 2018-09-01 國立中山大學 無唯讀記憶體之直接頻率合成器
US11245840B2 (en) 2018-03-06 2022-02-08 Eikon Technologies LLC Method and system for dynamically adjusting camera shots
US10778900B2 (en) 2018-03-06 2020-09-15 Eikon Technologies LLC Method and system for dynamically adjusting camera shots
KR20210017229A (ko) 2019-08-07 2021-02-17 삼성전자주식회사 오디오 줌 기능을 갖는 전자 장치 및 이의 동작 방법
US11425497B2 (en) * 2020-12-18 2022-08-23 Qualcomm Incorporated Spatial audio zoom
WO2023100594A1 (ja) * 2021-12-03 2023-06-08 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0690493A (ja) * 1992-09-09 1994-03-29 Sony Corp 音声入力装置及びこれを用いた撮像装置
JP2004328052A (ja) * 2003-04-21 2004-11-18 Sharp Corp ズームマイクロホン装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4862278A (en) 1986-10-14 1989-08-29 Eastman Kodak Company Video camera microphone with zoom variable acoustic focus
KR940021467U (ko) 1993-02-08 1994-09-24 푸쉬-풀 사운드 캐취 마이크로폰
KR100565184B1 (ko) 1998-12-08 2006-06-13 엘지전자 주식회사 단체화상회의시스템의음량제어회로
JP2000278581A (ja) 1999-03-26 2000-10-06 Matsushita Electric Ind Co Ltd ビデオカメラ
EP1202602B1 (en) 2000-10-25 2013-05-15 Panasonic Corporation Zoom microphone device
KR100628569B1 (ko) 2002-02-09 2006-09-26 삼성전자주식회사 복수의 음향취득장치가 결합 가능한 캠코더
US7430004B2 (en) 2003-11-08 2008-09-30 Hewlett-Packard Development Company, L.P. Volume control linked with zoom control
JP2006339869A (ja) 2005-05-31 2006-12-14 Sanyo Electric Co Ltd 映像信号と音響信号の統合装置
JP2007208866A (ja) 2006-02-06 2007-08-16 Nikon Corp カメラ

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0690493A (ja) * 1992-09-09 1994-03-29 Sony Corp 音声入力装置及びこれを用いた撮像装置
JP2004328052A (ja) * 2003-04-21 2004-11-18 Sharp Corp ズームマイクロホン装置

Also Published As

Publication number Publication date
US20100118201A1 (en) 2010-05-13
KR20100053889A (ko) 2010-05-24
US8897454B2 (en) 2014-11-25

Similar Documents

Publication Publication Date Title
KR101330771B1 (ko) 동영상 줌 제어 기능과 연동된 음향 줌 장치 및 방법
US9936323B2 (en) System, apparatus and method for consistent acoustic scene reproduction based on informed spatial filtering
EP3189521B1 (en) Method and apparatus for enhancing sound sources
JP6023779B2 (ja) オーディオ情報処理の方法及び装置
KR101409169B1 (ko) 억제 폭 조절을 통한 사운드 줌 방법 및 장치
US20090097670A1 (en) Method, medium, and apparatus for extracting target sound from mixed sound
JP2017517947A5 (ko)
EP2761890A1 (en) Processing audio signals
KR20120101457A (ko) 오디오 줌
JP6637926B2 (ja) 音声処理装置及びその制御方法
JP2008236287A (ja) 音声信号生成装置及び方法
JP5190859B2 (ja) 音源分離装置、音源分離方法、音源分離プログラム及び記録媒体
JP5903631B2 (ja) ノイズキャンセル装置
JP2008288910A (ja) 収音装置
JP7212747B2 (ja) 音響信号の合成装置及びプログラム
EP3029671A1 (en) Method and apparatus for enhancing sound sources
JP2018207316A (ja) 音声処理装置及びその制御方法
CN111757240A (zh) 音频处理方法与音频处理***
JP2018207314A (ja) 音声処理装置及びその制御方法
JP2013162510A (ja) 情報処理端末、およびマイクロホンの配置方法
JP2018207315A (ja) 音声処理装置及びその制御方法
JP2018207317A (ja) 音声処理装置及びその制御方法
JP2010130423A (ja) 電子機器及び音声処理方法
JP2015096895A (ja) 録音装置及び録音装置に関するネットワークシステム
JP2011193166A (ja) 情報処理装置、情報処理システム及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161028

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171030

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee