KR101861590B1 - 휴대용 단말기에서 입체 데이터를 생성하기 위한 장치 및 방법 - Google Patents

휴대용 단말기에서 입체 데이터를 생성하기 위한 장치 및 방법 Download PDF

Info

Publication number
KR101861590B1
KR101861590B1 KR1020110109821A KR20110109821A KR101861590B1 KR 101861590 B1 KR101861590 B1 KR 101861590B1 KR 1020110109821 A KR1020110109821 A KR 1020110109821A KR 20110109821 A KR20110109821 A KR 20110109821A KR 101861590 B1 KR101861590 B1 KR 101861590B1
Authority
KR
South Korea
Prior art keywords
data
audio data
stereoscopic
subject
audio
Prior art date
Application number
KR1020110109821A
Other languages
English (en)
Other versions
KR20130045553A (ko
Inventor
김재현
오경석
방경호
최인용
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110109821A priority Critical patent/KR101861590B1/ko
Priority to US13/611,690 priority patent/US20130106997A1/en
Priority to JP2012204492A priority patent/JP2013093840A/ja
Publication of KR20130045553A publication Critical patent/KR20130045553A/ko
Application granted granted Critical
Publication of KR101861590B1 publication Critical patent/KR101861590B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereophonic System (AREA)

Abstract

본 발명은 입체 데이터를 생성하여 재생하는 휴대용 단말기에 관한 것으로, 특히 입체 데이터 생성시 영상 데이터의 피사체 정보를 이용하여 오디오 데이터에 원근감을 적용하여 입체 음향을 제공하기 위한 장치 및 방법에 관한 것으로, 휴대용 단말기에서 입체 데이터를 생성하기 위한 장치는 입체 데이터 생성을 위한 영상 데이터를 획득하여 상기 영상 데이터에 대하여 입체 효과를 적용하는 영상 처리부와, 상기 입체 데이터 생성을 위한 오디오 데이터를 획득한 후, 상기 영상 데이터의 초점을 이용하여 오디오 데이터에 입체 효과를 적용하는 오디오 처리부를 포함하는 것을 특징으로 한다.

Description

휴대용 단말기에서 입체 데이터를 생성하기 위한 장치 및 방법{APPARATUS AND METHOD FOR GENERATING THREE-DIMENSION DATA IN PORTABLE TERMINAL}
본 발명은 입체 데이터를 생성하여 재생하는 휴대용 단말기에 관한 것으로, 특히 입체 데이터 생성시 영상 데이터의 피사체 정보를 이용하여 오디오 데이터에 원근감을 적용하여 입체 음향을 제공하기 위한 장치 및 방법에 관한 것이다.
최근의 영상 기술은 3차원 데이터를 구현하는 방식에 대한 연구 쪽으로 활발히 진행되고 있다. 이는 보다 사실적이고 현실감 있는 영상 정보를 표현하기 위함이다. 인간 시각 특성을 활용하여, 기존의 디스플레이 장치에 좌시점 영상과 우시점 영상을 각각 해당 위치에 주사한 후, 좌시점과 우시점을 사용자의 좌안과 우안에 분리하여 상이 맺히게 함으로써 3차원 입체감을 느끼게 하는 방법이 여러 가지 면에서 가능성을 인정받고 있다. 일 예로 Barrier LCD를 장착한 휴대용 단말기(입체휴대폰, 입체 카메라, 입체 캠코더 등등) 및 3D TV 에서는 스테레오스코픽 컨텐츠를 재생하여 사용자에게 좀 더 실감나는 영상을 제공할 수 있게 되었다.
일반적으로 입체 영상(stereo scopic image)은 기존의 영상과 달리 특정 거리만큼 이격된 두 개의 카메라 모듈을 이용하여 영상을 촬영한 후, 두 영상을 붙여서 사용한다. 즉, 사용자의 우안 및 좌안에서 보는 시점을 합성하여 입체 영상을 만드는 것이다. 이러한 두 개의 영상은 종방향 또는 횡방향으로 배치될 수 있다.
현재의 스테레오 영상의 출력 방법은 크게 안경 방식과 무안경 방식 두 가지로 나누어진다. 첫 번째 안경 방식의 경우 시야각의 제한이 적고 입체 효과가 큰 방식으로 주로 TV와 같은 큰 출력 장치에 사용된다. 두 번째 무안경 방식은 Barrier LCD를 사용하는 방식으로 안경을 사용하지 않아 휴대용 단말기에 적합하지만 시야 각에 제한이 큰 방식이다.
일반적으로, 휴대용 단말기에서 영상 데이터에 대한 입체 효과를 제공하고 있다. 즉, 휴대용 단말기에서 입체 데이터를 재생할 경우, 영상 데이터에만 입체 효과가 적용되고 오디오 데이터에는 입체 효과가 적용되지 않아 평면적인 음향을 제공한다는 문제점이 발생한다. 이는 휴대용 단말기에서 획득하는 오디오 데이터의 채널이 부족하기 때문이다.
이에 따라, 상기와 같은 문제점을 해결하기 위하여 휴대용 단말기에서 오디오 데이터에 입체 효과를 적용하기 위한 장치 및 방법이 요구된다.
본 발명은 상술한 바와 같은 문제점을 해결하기 위하여 도출된 것으로서, 본 발명의 목적은 휴대용 단말기에서 입체 음향을 제공하기 위한 장치 및 방법을 제공함에 있다.
본 발명의 다른 목적은 휴대용 단말기에서 오디오 데이터 및 영상 데이터에 입체 효과를 적용하기 위한 입체 데이터를 생성하기 위한 장치 및 방법을 제공함에 있다.
본 발명의 또 다른 목적은 휴대용 단말기에서 영상 데이터에 포함된 피사체의 정보에 따라 오디오 데이터에 원근감을 적용하기 위한 장치 및 방법을 제공함에 있다.
본 발명의 또 다른 목적은 휴대용 단말기에서 입체 데이터 재생시 피사체 정보를 파악하여 오디오 데이터에 입체 효과를 적용하기 위한 장치 및 방법을 제공함에 있다.
상술한 목적들을 달성하기 위한 본 발명의 제 1 견지에 따르면, 휴대용 단말기에서 입체 데이터를 생성하기 위한 장치는 입체 데이터 생성을 위한 영상 데이터를 획득하여 영상 데이터에 대하여 입체 효과를 적용하고, 영상 데이터의 피사체 움직임 정보를 파악하는 영상 처리부와, 입체 데이터 생성을 위한 오디오 데이터를 획득한 후, 피사체의 움직임 정보에 따라 오디오 데이터에 입체 효과를 적용하도록 처리하는 오디오 처리부를 포함하는 것을 특징으로 한다.
상술한 목적들을 달성하기 위한 본 발명의 제 2 견지에 따르면, 휴대용 단말기에서 입체 데이터를 생성하기 위한 방법은 입체 데이터 생성을 위한 영상 데이터 및 오디오 데이터를 획득하는 과정과, 입체 데이터에서 피사체의 움직임 정보를 파악하는 과정과, 영상 데이터에 대하여 입체 효과를 적용하는 과정과, 피사체의 움직임 정보에 따라 오디오 데이터에 입체 효과를 적용하는 과정을 포함하는 것을 특징으로 한다.
상술한 목적들을 달성하기 위한 본 발명의 제 3 견지에 따르면, 입체 데이터 재생 장치는 입체 데이터 생성을 위한 영상 데이터를 획득하여 영상 데이터의 피사체의 움직임을 파악하는 영상 처리부와, 입체 데이터 생성을 위한 오디오 데이터를 획득한 후, 피사체의 움직임을 이용하여 오디오 데이터에 입체 효과를 적용하는 오디오 처리부와, 입체 효과가 적용된 오디오 데이터 및 영상 데이터를 이용하여 입체 데이터를 생성하고 입체 데이터를 재생하도록 처리하는 제어부와, 입체 영상 뷰어로 구성되어 입체 데이터의 재생시 입체 효과를 제공하는 표시부를 포함하되, 제어부는 오디오 데이터에 대한 입체 효과가 적용되지 않은 입체 데이터 재생시 영상 데이터의 피사체 정보를 확인하여 오디오 데이터에 입체 효과를 적용하여 재생하도록 제어하는 것을 특징으로 한다.
상술한 바와 같이 본 발명은 입체 데이터 재생시 오디오 데이터에 입체 효과를 적용하기 위한 것으로, 영상 데이터뿐만 아니라 오디오 데이터에도 입체 효과를 적용하여 사용자에게 현실감이 있는 입체 효과를 제공할 수 있다.
도 1(a)는 본 발명에 따른 입체 데이터를 생성하는 휴대용 단말기의 구성을 도시한 블록도,
도 1(b)는 본 발명에 따라 입체 효과를 제공하는 영상 처리부의 구성을 도시한 블록도,
도 1(c)는 본 발명에 따라 입체 효과를 제공하는 오디오 처리부의 구성을 도시한 블록도,
도 2는 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기에서 입체 데이터를 생성하는 과정을 도시한 흐름도,
도 3은 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기에서 오디오 데이터에 입체 효과를 적용하는 과정을 도시한 흐름도,
도 4(a)는 일반적인 휴대용 단말기의 입체 데이터 재생 화면을 도시한 도면,
도 4(b)는 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기의 입체 데이터 재생 화면을 도시한 도면 및,
도 5는 본 발명의 바람직한 다른 실시 예에 따른 휴대용 단말기에서 오디오 데이터에 대한 입체 효과 적용 시점을 파악하는 과정을 도시한 흐름도.
이하 본 발명의 바람직한 실시 예를 첨부된 도면의 참조와 함께 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.
이하 설명에서는 본 발명에 따른 휴대용 단말기에서 다수의 카메라 모듈로 촬영된 스테레오 영상 데이터와 오디오 데이터에 입체 효과를 적용하기 위한 장치 및 방법에 대하여 설명할 것이다. 여기에서, 휴대용 단말기는 입체 효과를 제공할 수 있는 표시부를 포함하는 것으로, 입체 이동통신 단말기, 입체 카메라, 입체 캠코더, 3D TV등과 같이 스테레오스코픽 컨텐츠를 재생하여 사용자에게 입체감을 제공하는 디스플레이 기기를 의미한다. 더하여, 휴대용 단말기는 영상 데이터의 피사체 움직임을 확인한 후, 배경 오디오 신호와 주 오디오 신호에 원근감을 보정하도록 처리한다.
도 1은 본 발명에 따른 입체 데이터를 생성하는 휴대용 단말기의 구성을 도시한 블록도이다.
도 1(a)는 본 발명에 따라 오디오 데이터에 입체 효과를 적용하는 휴대용 단말기를 도시한 도면이다.
도 1(a)를 참조하면, 휴대용 단말기는 제어부(100), 영상 처리부(102), 오디오 처리부(104), 메모리부(106), 입력부(108), 표시부(110) 및 통신부(112)를 포함하여 구성할 수 있다.
먼저, 휴대용 단말기의 제어부(100)는 휴대용 단말기의 전반적인 동작을 제어한다. 예를 들어, 음성통화 및 데이터 통신을 위한 처리 및 제어를 수행하고, 통상적인 기능에 더하여 본 발명에 따라 제어부(100)는 다수의 영상 데이터와 오디오 데이터를 획득한 후, 획득한 데이터(영상 데이터 및 오디오 데이터)에 입체 효과를 적용하여 입체 데이터를 생성하고, 입체 데이터를 재생하도록 처리한다. 이때, 제어부(100)는 다수의 시점에 해당하는 영상 데이터를 결합하여 영상 데이터에 대한 입체 효과를 적용하고, 영상 데이터의 피사체의 움직임 정보(위치 정보 및 원근 정보)를 이용하여 오디오 데이터에 입체 효과를 적용하도록 처리한다.
영상 처리부(102)는 제어부(100)의 제어를 받아 입체 효과 제공을 위한 다수의 영상 데이터를 획득한다. 이때, 영상 처리부(102)는 서로 다른 시점(각도)으로 구비된 카메라 모듈을 통해 동일 피사체를 동시에 촬영하여 영상 데이터를 획득할 수 있으며, 획득한 영상 데이터를 합쳐 입체 효과를 제공하는 영상 데이터를 생성할 수 있다.
더하여, 영상 처리부(102)는 제어부(100)의 제어를 받아 획득한 영상 데이터의 피사체를 구분하고, 피사체의 움직임 정보(위치 및 원근 정보)를 파악하여 오디오 처리부(104)로 제공한다.
오디오 처리부(104)는 제어부(100)의 제어를 받아 입체 효과 제공을 위한 오디오 데이터를 획득한다. 이때, 오디오 처리부(104)는 다수의 마이크를 통해 영상 데이터의 피사체와 배경에서 발생하는 오디오 데이터를 획득한 후, 피사체의 움직임 정보에 따라 오디오 데이터에 입체 효과를 적용하도록 처리한다. 더하여, 오디오 처리부(104)는 입체 효과가 적용된 오디오 데이터를 재생하여 출력시키는 스피커를 포함할 수 있으며, 오디오 처리부(104)는 피사체의 원근 정보를 이용하여 오디오 데이터에 입체 효과를 적용할 수 있다.
메모리부(106)는 롬(ROM; Read Only Memory), 램(RAM; Random Access Memory), 플래쉬롬(flash ROM)으로 구성된다. 롬은 제어부(100), 영상 처리부(102) 및 오디오 처리부(104)의 처리 및 제어를 위한 프로그램의 마이크로코드와 각종 참조 데이터를 저장한다.
램은 제어부(100)의 워킹 메모리(working memory)로, 각종 프로그램 수행 중에 발생하는 일시적인 데이터를 저장한다. 또한, 플래쉬롬은 전화번호부(phone book), 발신메시지 및 수신메시지와 같은 갱신 가능한 각종 보관용 데이터를 저장하며, 본 발명의 바람직한 일 실시 예에 따라 입체 효과가 적용된 오디오 데이터 및 영상 데이터 및 오디오 데이터와 영상 데이터를 이용하여 생성한 입체 데이터를 저장한다.
입력부(108)는 0 ~ 9의 숫자키 버튼들과, 메뉴버튼(menu), 취소버튼(지움), 확인버튼, 통화버튼(TALK), 종료버튼(END), 인터넷접속 버튼, 네비게이션 키(또는 방향키) 버튼들 및 문자 입력 키 등 다수의 기능키들을 구비하며, 사용자가 누르는 키에 대응하는 키 입력 데이터를 제어부(100)로 제공한다. 더하여, 입력부(108)는 입체 효과를 제공하는 입체 데이터 생성을 요청하는 데이터를 발생시킨다.
표시부(110)는 휴대용 단말기의 동작 중에 발생하는 상태 정보, 문자들, 다량의 동영상 및 정지영상 등을 디스플레이한다. 표시부(110)는 컬러 액정 디스플레이 장치(LCD; Liquid Crystal Display)를 사용할 수 있으며 표시부(110)는 터치 입력 장치를 구비하여 터치 입력 방식의 휴대용 단말기에 적용할 경우 입력 장치로 사용할 수 있다. 더하여, 표시부(110)는 본 발명에 따라 입체 효과를 제공할 수 있는 LCD(예; 배리어 LCD)를 포함하여 입체 효과가 적용된 영상 데이터를 출력할 수 있다.
통신부(114)는 안테나(미도시)를 통해 입출력되는 데이터의 무선신호를 송수신 처리하는 기능을 수행한다. 예를 들어, 송신인 경우, 송신할 데이터를 채널 코딩(Channel coding) 및 확산(Spreading)한 후, RF처리하여 송신하는 기능을 수행하고, 수신인 경우, 수신된 RF신호를 기저대역신호로 변환하고 기저대역신호를 역 확산(De-spreading) 및 채널 복호(Channel decoding)하여 데이터를 복원하는 기능을 수행한다.
영상 처리부(102) 및 오디오 처리부(104)의 역할은 휴대용 단말기의 제어부(100)에 의해 수행할 수 있으나, 본 발명에서 이를 별도로 구성하여 도시한 것은 설명의 편의를 위한 예시적인 구성이지 결코 본 발명의 범위를 제한하자는 것이 아니며, 당업자라면 본 발명의 범위 내에서 다양한 변형 구성이 가능하다는 것을 알 수 있을 것이다. 예를 들어, 이들 모두를 제어부(100)에서 처리하도록 구성할 수도 있다.
도 1(b)는 본 발명에 따라 입체 효과를 제공하는 영상 처리부의 구성을 도시한 블록도이다.
도 1(b)를 참조하면, 영상 처리부(102)는 영상 데이터 획득 모듈(110), 피사체 확인부 (112), 위치 정보 분석부 및 원근 정보 분석부 (116)를 포함하여 구성할 수 있다.
영상 데이터 획득 모듈(110)은 카메라 모듈을 포함할 수 있으며, 카메라 모듈로 입력되는 디지털 영상 신호를 이용하여 다수의 영상 데이터를 획득한다. 이때, 영상 데이터 획득 모듈(110)은 다수의 카메라 모듈을 포함할 수 있으며, 동일한 피사체를 서로 다른 각도에서 촬영하여 시점이 서로 다른 다수의 영상 데이터를 획득한다.
피사체 확인부(112)는 영상 데이터 획득 모듈(110)에 의해 획득된 영상 데이터에서 피사체와 배경을 구분하도록 처리한다. 여기에서, 피사체는 사용자가 획득하고자 하는 영상 데이터의 초점 영역이 될 수 있다.
위치 정보 분석부(114)는 피사체 확인부(112)에 의해 구분된 피사체의 위치를 확인하고, 원근 정보 분석부(116)는 피사체 확인부(112)에 의해 구분된 피사체의 원근 정보를 확인하는 한다. 이때, 원근 정보 분석부(116)는 이전 영상 데이터의 피사체 위치와 현재 획득한 영상 데이터의 피사체 위치를 파악한 후, 피사체의 이동에 따른 원근 정보를 확인한다.
이후, 영상 처리부(102)는 위치 정보 분석부(114) 및 원근 정보 분석부(116)에 의해 확인된 피사체의 움직임 정보를 오디오 처리부로 제공(104)하고, 영상 데이터 획득 모듈(110)을 통해 획득된 시점이 다른 영상 데이터를 하나의 영상 데이터로 합쳐 입체 데이터로 생성된다.
도 1(c)는 본 발명에 따라 입체 효과를 제공하는 오디오 처리부의 구성을 도시한 블록도이다.
도 1(c)를 참조하면, 오디오 처리부(104)는 오디오 데이터 획득 모듈(120), 신호 추출부(122), 효과 적용부(128) 및, 믹서(134)를 포함하고, 신호 추출부(122)는 주신호 추출부(124)와 배경 신호 추출부(126)를 포함하여 구성할 수 있다. 더하여, 효과 적용부(128)는 위치 보정부(130)와 원근 보정부(132)를 더 포함하여 구성할 수 있다.
오디오 데이터 획득 모듈(120)은 한 개 이상의 마이크를 포함하며 마이크로 입력되는 디지털 오디오 신호를 이용하여 다수의 오디오 데이터를 획득한다. 이때, 오디오 데이터는 영상 데이터의 피사체에서 발생되는 오디오 데이터와 영상 데이터의 배경에서 발생되는 오디오 데이터를 포함한다.
신호 추출부(122)는 피사체의 위치 정보(피사체의 움직임)를 기반으로 하여 오디오 데이터에서 제 1 오디오 데이터와 제 2 오디오 데이터를 분류하도록 처리한다. 이는 획득한 오디오 데이터에서 피사체에 해당하는 제 1 오디오 데이터(주 신호)와 배경에 해당하는 제 2 오디오 데이터(배경 신호)를 추출하는 것이다.
주신호 추출부(124)는 피사체의 움직임 정보를 이용하여 오디오 데이터 획득 모듈로 입력된 오디오 데이터로부터 주 신호를 추출한다. 이때, 주신호 추출부(124)는 마이크 어레이 및 빔포밍 기술에 기반으로 피사체 방향을 조준하여 주 신호를 구분할 수 있으며, 단순히 입력된 하나 이상의 오디오 채널의 공통된 성분(모노 성분)을 분리하여 주 신호(모노 성분이 제거된 순수한 스테레어 성분의 신호)를 구분할 수 있다.
배경 신호 추출부(126)는 피사체의 움직임 정보를 이용하여 오디오 데이터 획득 모듈로 입력된 오디오 데이터로부터 배경 신호를 추출한다. 이때, 배경 신호 추출부는 마이크 어레이 및 빔포밍 기술에 기반으로 배경 방향을 조준하여 주변의 배경 신호들을 추출할 수 있으며, 입력된 하나 이상의 오디오 채널에서 주 신호를 차감하는 방법 등을 이용하여 배경 신호를 추출할 수 있다.
효과 적용부(128)는 피사체의 움직임에 따라 주 신호 또는 배경 신호에 입체 효과를 적용하도록 처리한다.
효과 적용부(128)의 위치 보정부(130)는 사용자에게 현실감을 제공하기 위하여 피사체의 위치를 기반으로 주 신호와 배경 신호를 정위(Localization)시킨다. 이때, 위치 보정부(130)는 HRTF(Head Related Transfer Function)을 기반으로 하여 주 신호와 배경 신호를 위치 정보에 맞게 동기화 시키거나 정면을 기준으로 좌/우 패닝 신호처리를 통해서 주 신호와 배경 신호를 동기화시킬 수 있다.
효과 적용부(128)의 원근 보정부(132)는 피사체의 위치와 동기화된 주 신호에 대하여 원근 효과를 적용하도록 처리한다. 이때, 원근 보정부(132)는 영상 처리부(102)의 원근 정보 분석부(116)에 의해 확인된 피사체의 원근 정보를 이용하여 주 신호에 대한 원근 효과를 적용한다. 즉, 원근 보정부(132)는 피사체가 기준점에서 멀어 질 경우 주 신호의 세기를 작게 조정하고 저주파수 신호의 양을 상대적으로 차감하고 잔향을 첨가할 수 있으며, 반대로 피사체가 기준점으로부터 가까이 올 경우에는 주 신호의 세기를 크게 조정하고 저주파수 신호의 양을 상대적으로 증가 시킴으로써 원근 효과를 적용할 수 있다.
더하여 원근 보정부(132)는 주 신호 세기의 변동에 따라 배경 신호의 크기를 조절하여 전체 오디오 데이터(주 신호 + 배경 신호)의 세기가 일정하게 유지되도록 처리한다. 믹서(134)는 피사체의 움직임(위치 및 원근)에 따른 효과가 적용된 주 신호와 배경 신호를 합친 오디오 데이터를 생성한다.
도 2는 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기에서 입체 데이터를 생성하는 과정을 도시한 흐름도이다.
도 2를 참조하면, 휴대용 단말기는 먼저 201단계에서 입체 데이터를 생성할 것인지 확인한다. 여기에서, 입체 데이터는 서로 다른 각도로 구비된 다수의 카메라 모듈을 이용하여 촬영한 피사체에 대한 영상 데이터를 하나의 데이터로 합쳐놓은 데이터로 입체 영상 뷰어(예; Barrier LCD)를 통해 사용자에게 입체 효과를 제공할 수 있으며, 입체 데이터는 영상 데이터에 대한 입체 효과뿐만 아니라고 오디오 데이터에 대한 입체 효과까지 제공할 수 있다.
만일, 201단계에서 입체 데이터를 생성하지 않음을 확인할 경우, 휴대용 단말기는 217단계로 진행하여 해당 기능(예; 대기 모드)을 수행한다.
한편, 201단계에서 입체 데이터를 생성함을 확인할 경우, 휴대용 단말기는 203단계로 진행하여 영상 데이터 획득 모듈을 동작시킨 후, 205단계로 진행하여 영상 데이터 획득 모듈을 통해 영상 데이터를 획득한다. 여기에서, 영상 데이터 획득 모듈은 정지 영상 데이터 또는 동영상 데이터를 획득할 수 있는 카메라 모듈을 의미하며, 휴대용 단말기는 다수의 카메라 모듈을 구비하여 동일 피사체에 대하여 서로 시점이 다른 영상 데이터를 획득할 수 있다.
이후, 휴대용 단말기는 207단계로 진행하여 영상 데이터 획득 모듈로 획득한 영상 데이터에서 피사체를 파악한다.
이후, 휴대용 단말기는 209단계로 진행하여 이전 영상 데이터의 피사체 위치와 현재 획득한 영상 데이터의 피사체 위치를 파악한 후, 211단계로 진행하여 피사체에 대한 움직임이 파악되는지 확인한다. 이는 획득한 영상 데이터의 피사체의 위치를 변경하였는지 또는 피사체가 이동하고 있는지 파악하는 것으로, 휴대용 단말기는 획득한 영상 데이터의 피사체의 위치 변화를 확인하는 것이다.
만일, 211단계에서 피사체에 대한 움직임이 파악되지 않은 경우, 휴대용 단말기는 219단계로 진행하여 일반적인 오디오 데이터를 생성한다. 이때, 휴대용 단말기는 배경에서 발생되는 오디오 데이터와 피사체에서 발생하는 오디오 데이터의 세기가 일정하게 유지되도록 처리하는 것이다.
한편, 211단계에서 피사체에 대한 움직임이 파악되는 경우, 휴대용 단말기는 213단계로 진행하여 피사체의 위치 및 원근 정보를 분석한다. 이때, 휴대용 단말기는 이전 영상 데이터의 피사체 위치와 현재 획득한 영상 데이터의 피사체 위치 변화 정도를 파악하여 피사체의 위치 및 원근 정보를 파악할 수 있다.
이후, 휴대용 단말기는 215단계로 진행하여 피사체의 위치 및 원근 정보에 따라 오디오 데이터에 입체 효과를 적용하도록 처리한다. 즉, 휴대용 단말기는 본 발명의 바람직한 일 실시 예에 따라 피사체에 해당하는 주 신호의 세기를 강하게 하고 피사체를 제외한 배경에 해당하는 오디오 데이터의 세기를 약하게 하는 것과 같이 오디오 데이터에 원근감을 적용할 수 있다. 더하여, 휴대용 단말기는 피사체가 영상 데이터의 시청자 방향으로 이동할 경우, 피사체에 대한 주 신호의 세기를 점차 강하게 처리하여 사용자의 청음 효과를 향상시킬 수 있다.
정리하면, 본 발명에 따른 휴대용 단말기는 입체 데이터를 위한 영상 데이터를 획득한 후, 획득한 영상 데이터의 피사체를 이용하여 오디오 데이터의 효과 적용 여부를 판단하며, 피사체의 움직임에 따라 주 신호와 배경 신호에 효과를 적용하는 것이다.
이후, 휴대용 단말기는 입체 효과가 적용된 오디오 데이터와 영상 데이터를 재생하도록 처리한 후, 본 알고리즘을 종료한다.
도 3은 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기에서 오디오 데이터에 입체 효과를 적용하는 과정을 도시한 흐름도이다.
도 3을 참조하면, 휴대용 단말기는 먼저 301단계에서 오디오 데이터 획득 모듈을 동작시킨 후, 303단계로 진행하여 오디오 데이터를 획득한다. 여기에서, 오디오 데이터 획득 모듈은 영상 데이터 획득시 주변에서 발생하는 오디오 데이터를 수집할 수 있는 마이크를 의미하는 것으로, 휴대용 단말기는 다수의 마이크를 구비하여 영상 데이터의 피사체에서 발생하는 오디오 데이터와 피사체를 제외한 배경에서 발생하는 오디오 데이터를 획득할 수 있다.
이후, 휴대용 단말기는 305단계로 진행하여 획득한 오디오 데이터에서 영상 데이터의 피사체에서 발생하는 오디오 데이터인 제 1 오디오 데이터(주 신호)를 분류한다. 여기에서, 휴대용 단말기는 영상 데이터의 피사체 위치 정보를 기반으로 제 1 오디오 데이터를 분류하는 것으로, 이때, 휴대용 단말기는 마이크 어레이 및 빔포밍 기술을 기반으로 피사체 방향을 조준하여 제 1 오디오 데이터를 구분할 수 있다. 더하여 휴대용 단말기는 단순히 입력된 하나 이상의 오디오 채널의 공통된 성분(모노)을 분리함으로써 순수한 스테레오 성분으로 구성된 제 1 오디오 데이터를 구분할 수 있다.
이후, 휴대용 단말기는 307단계에서 획득한 오디오 데이터에서 영상 데이터의 주변에서 발생하는 오디오 데이터인 제 2 오디오 데이터(배경 신호)를 분류한다.
이때, 휴대용 단말기는 획득한 오디오 데이터에서 제 1 오디오 데이터를 제외한 배경 오디오 데이터를 추출하는 것으로, 앞서 설명한 바와 같이 마이크 어레이 및 빔포밍 기술을 기반으로 배경 방향을 조준하여 주변의 배경에 대한 제 2 오디오 데이터를 추출할 수 있다. 더하여, 휴대용 단말기는 획득한 오디오 데이터에서 제 1 오디오 데이터를 차감하여 제 2 오디오 데이터를 추출할 수 있다.
이후, 휴대용 단말기는 309단계에서 영상 데이터의 피사체에 대한 위치 및 원근 정보를 확인한 후, 311단계로 진행하여 피사체의 위치 및 원근 정보에 맞게 제 1 오디오 데이터와 제 2 오디오 데이터에 입체 효과를 적용하도록 처리한다.
즉, 휴대용 단말기는 피사체의 원근 정보에 따라 제 1 오디오 데이터와 제 2 오디오 데이터의 발생 방향, 각도 등을 설정하는 것으로, HRTF(Head Related Transfer Function)에 기반하여 제 1 오디오 데이터와 제 2 오디오 데이터를 원근 정보에 맞게 동기화시킬 수 있다. 즉, 휴대용 단말기는 영상 데이터의 피사체가 단말기의 사용자 방향으로 이동하는 경우, 제 1 오디오 데이터의 세기를 크게 조정(제 2 오디오 데이터의 세기를 작게 조정)하고, 저주파수 신호의 양을 상대적으로 증가 시키도록 처리한다. 더하여 휴대용 단말기는 영상 데이터의 피사체가 단말기의 사용자 방향에서 멀어지는 경우, 제 1 오디오 데이터의 세기를 작게 조정하고, 제 2 오디오 데이터를 크게 조정하며, 저주파수 신호의 양을 상대적으로 차감하고 잔향을 추가하도록 처리한다.
더하여, 휴대용 단말기는 영상 데이터의 피사체의 이동 방향에 따라 제 1 오디오 데이터 및 제 2 오디오 데이터에 패닝 효과를 적용하도록 처리한다.
더하여, 휴대용 단말기는 피사체가 이동하는 경우, 제 2 오디오 데이터의 세기를 줄이고, 제 1 오디오 데이터의 세기를 높여 이동하는 피사체를 강조하도록 처리할 수 있다.
더하여, 휴대용 단말기는 제 1 오디오 데이터 및 제 2 오디오 데이터의 세기를 균일하게 적용하기 위한 것으로, 영상 데이터에 대한 제 1 오디오 데이터 및 제 2 오디오 데이터의 세기가 어느 한쪽으로 치우치지 않도록 처리할 수 있다.
이후, 휴대용 단말기는 제 1 오디오 데이터와 제 2 오디오 데이터를 합산한 후, 신호 처리된 오디오 PCM 신호를 바이너리 압축 데이터 파일로 인코딩하여 영상 데이터와 연동되도록 한다.
이후, 휴대용 단말기는 본 알고리즘을 종료한다.
상기와 같은 휴대용 단말기는 입체 효과가 적용된 오디오 데이터를 다음과 같이 처리할 수 있다.
먼저, 휴대용 단말기는 기 획득한 영상 데이터와 입체 효과가 적용된 오디오 데이트를 압축하여 입체 데이터를 생성한 후 생성된 입체 데이터를 복호화하여 입체 오디오와 입체 영상을 재생하여 입체 효과를 제공할 수 있다.
또한, 휴대용 단말기는 입체 효과가 적용되지 않은 오디오 데이터로 생성된 입체 데이터 재생하는 도중에 영상 데이터에 해당하는 입체 오디오 데이터(오디오 데이터에 입체 효과를 적용)를 생성하여 재생함으로써 입체 효과를 제공할 수 있다.
도 4는 본 발명에 따른 휴대용 단말기의 입체 데이터 재생 화면을 도시한 도면이다.
도 4(a)는 일반적인 휴대용 단말기의 입체 데이터 재생 화면을 도시한 도면이다.
도 4(a)를 참조하면, 휴대용 단말기는 다수의 카메라 모듈을 통해 획득한 이미지, 다시 말해서 서로 다른 시점으로 동일 피사체를 촬영하여 획득한 다수의 영상 데이터를 재생하여 입체 효과를 제공할 수 있다. 하지만, 휴대용 단말기는 오디오 데이터에 대하여 입체 효과를 적용하지 않아 피사체와 배경에 대하여 동일한 효과의 오디오 데이터를 재생하게 된다.
즉, 휴대용 단말기는 도시된 바와 같이 레이싱 경기에 대한 영상 데이터를 획득한다. 여기에서, 피사체는 레이싱을 준비하는 자동차들(401)이 될 수 있으며, 배경은 자동차 주변에 위치한 관객(403), (405)이 될 수 있다.
더하여, 휴대용 단말기는 피사체에 대한 오디오 데이터를 획득하고, 배경에 대한 오디오 데이터를 획득한다. 즉, 피사체는 엔진 소리를 발생시키고, 우측 배경 및 좌측 배경에서는 함성 소리를 발생시키고 있다.
휴대용 단말기는 피사체를 촬영한 다수의 영상 데이터(동일 피사체에 대하여 시점이 다른 영상 데이터)를 이용하여 영상 데이터에 대한 입체 효과를 제공할 수 있다. 하지만, 오디오 데이터에 대한 입체 효과를 제공할 수 없어 휴대용 단말기는 배경에 대한 오디오 데이터와 피사체에 대한 오디오 데이터를 동일한 레벨로 출력하여 현실감을 제공할 수 없게 된다.
도 4(b)는 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기의 입체 데이터 재생 화면을 도시한 도면이다.
도 4(b)를 참조하면, 휴대용 단말기는 다수의 카메라 모듈을 통해 획득한 이미지, 다시 말해서 서로 다른 시점으로 동일 피사체를 촬영하여 획득한 다수의 영상 데이터를 재생하여 입체 효과를 제공할 수 있다. 일반적인 휴대용 단말기는 오디오 데이터에 대하여 입체 효과를 적용하지 않아 피사체와 배경에 대하여 동일한 효과의 오디오 데이터를 재생하나 본 발명에 따른 휴대용 단말기는 피사체와 배경에 대한 오디오 데이터에 입체 효과를 적용하도록 처리할 수 있다.
즉, 휴대용 단말기는 입력받은 오디오 데이터에서 제 1 오디오 데이터와 제 2 오디오 데이터를 추출한다. 여기에서, 제 1 오디오 데이터는 피사체에서 발생하는 오디오 데이터를 의미하고, 제 2 오디오 데이터는 배경에서 발생하는 오디오 데이터를 의미한다.
휴대용 단말기는 피사체의 움직임에 따른 위치 및 원근 정보를 분석하여 제 1 오디오 데이터 및 제 2 오디오 데이터에 입체 효과를 적용할 수 있다.
즉, 휴대용 단말기는 피사체가 이동하는 경우, 배경에 해당하는 제 2 오디오 데이터의 세기를 줄이고, 피사체에 해당하는 제 1 오디오 데이터의 세기를 높일 수 있다. 일 예로, 휴대용 단말기는 도시된 바와 같이 결승점에 도달하는 피사체의 경적을 크게(410)하고, 주변에 위치한 관객의 환호 소리(412), (414)를 경적 소리보다 작게하여 피사체의 소리를 강조할 수 있다.
도 5는 본 발명의 바람직한 다른 실시 예에 따른 휴대용 단말기에서 오디오 데이터에 대한 입체 효과 적용 시점을 파악하는 과정을 도시한 흐름도이다.
도 5를 참조하면, 휴대용 단말기는 먼저 501단계에서 제 1 오디오 데이터를 주파수 영역에서 분석한다. 여기에서, 제 1 오디오 데이터는 피사체에서 발생하는 데이터이며, 피사체의 움직임에 따라 입체 효과가 적용되는 오디오 데이터이다.
이후, 휴대용 단말기는 503단계로 진행하여 특정 주파수 영역에서 오디오 신호가 변화하는지 확인한 후, 505단계로 진행하여 영상 데이터를 분석하여 피사체의 움직임을 확인한다. 이때, 휴대용 단말기는 이전 프레임의 오디오 신호와 현재 프레임의 오디오 신호를 비교하여 특정 주파수 영역에서 오디오 신호가 변화하는지 확인할 수 있다.
이후, 휴대용 단말기는 507단계로 진행하여 피사체가 움직이는 시점에 오디오 신호의 변화가 발생하는지 확인한다.
이는 피사체의 이동에 따라 주파수 영역에서 오디오 신호가 변화하는 것을 이용하여 오디오 데이터를 이용하여 피사체의 움직임을 파악하는 것으로, 피사체의 움직임과 오디오 신호의 변화가 동시에 발생함은 피사체의 움직임에 따라 발생하는 오디오 데이터에 입체 효과를 적용할 것이라고 판단하는 것이다.
만일, 507단계에서 피사체가 움직이는 시점에 오디오 신호의 변화가 확인되지 않는 경우, 휴대용 단말기는 오디오 데이터에 입체 효과를 적용하지 않고, 501단계로 진행하여 입체 효과 적용 시점을 재확인한다.
한편, 507단계에서 피사체가 움직이는 시점에 오디오 신호의 변화가 확인되는 경우, 휴대용 단말기는 오디오 데이터에 입체 효과를 적용한 후 본 알고리즘을 종료한다.
이때, 휴대용 단말기는 이전 프레임의 오디오 신호와 현재 프레임의 오디오 신호를 비교하여 오디오 신호가 커지는 것을 파악할 경우, 피사체가 앞으로 다가오고 있다고 파악하여 오디오 데이터를 강조시킬 수 있다.
이는 휴대용 단말기가 영상 데이터에 대한 주 신호가 피사체에서 해당하는 오디오 데이터인지 파악하기 위한 것으로, 휴대용 단말기가 영상 데이터의 피사체 움직임만을 이용하여 오디오 데이터에 입체 효과를 적용할 경우, 주 신호가 배경에 해당하는 신호일 경우 피사체의 움직임에 따라 입체 효과를 적용할 수 없기 때문이다.
권투 경기를 예를 들면, 휴대용 단말기는 일반적으로 피사체인 선수의 움직임을 파악하고, 권투 선수로부터 발생하는 오디오 데이터에 입체 효과를 적용한다.
하지만, 휴대용 단말기가 권투 선수로부터 발생하는 오디오 데이터를 배경 신호로 정의하고 관중으로부터 발생하는 오디오 데이터를 주 신호로 정의하는 경우 피사체인 선수의 움직임에 따라 관중의 환호 소리가 강조될 수 있기 때문이다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
100: 제어부 102: 영상 처리부 104: 오디오 처리부

Claims (15)

  1. 휴대용 단말기에서 입체 데이터를 생성하기 위한 장치에 있어서,
    입체 데이터 생성을 위한 영상 데이터를 획득하여 영상 데이터에 대하여 입체 효과를 적용하고, 영상 데이터의 피사체 움직임 정보를 파악하도록 설정된 영상 처리부와,
    입체 데이터 생성을 위한 오디오 데이터를 획득한 후, 피사체의 움직임 정보에 따라 오디오 데이터에 입체 효과를 적용하도록 설정된 오디오 처리부를 포함하며,
    상기 오디오 처리부는,
    상기 영상 데이터의 피사체 움직임이 검출되는 제1 시구간에 대한 정보를 획득하고,
    지정된 주파수 영역에서, 상기 제1 시구간에 대한 오디오 데이터의 변화가 확인되는지 여부를 결정하고,
    상기 오디오 데이터의 변화가 확인되는 경우, 상기 오디오 데이터에 입체 효과를 적용하도록 설정되고,
    상기 오디오 처리부는,
    상기 획득한 오디오 데이터에서, 상기 피사체에 대응하는 제1 오디오 데이터 및 배경에 대응하는 제2 오디오 데이터를 추출하고,
    상기 피사체의 움직임 정보를 이용하여 상기 제1 오디오 데이터의 세기를 조절하고, 상기 획득한 오디오 데이터의 세기가 일정하게 유지되도록 제2 오디오 데이터의 세기를 조절함으로써, 상기 획득한 오디오 데이터에 입체 효과를 적용하도록 설정된 장치.
  2. 제 1 항에 있어서,
    영상 처리부는,
    획득한 영상 데이터에서 초점에 해당하는 피사체와 배경으로 구분하는 피사체 확인부와,
    피사체의 위치 정보를 파악하는 위치 정보 분석부와,
    피사체의 원근 정보를 파악하는 원근 정보 분석부를 포함하는 것을 특징으로 하는 장치.
  3. 삭제
  4. 제 1항에 있어서,
    효과 적용부는,
    상기 제 1 오디오 데이터 또는 상기 제 2 오디오 데이터에 피사체의 이동 방향에 따라 패닝 효과를 적용하는 것을 특징으로 하는 장치.
  5. 제 1항에 있어서,
    휴대용 단말기에서 입체 데이터를 생성하기 위한 장치는,
    입체 효과가 적용된 영상 데이터 및 오디오 데이터를 이용하여 입체 데이터를 생성하여 재생하도록 처리하되,
    휴대용 단말기는,
    오디오 데이터에 대한 입체 효과가 적용되지 않은 입체 데이터 재생시 영상 데이터의 피사체 움직임 정보를 확인하여 오디오 데이터에 입체 효과를 적용하여 재생하는 것을 특징으로 하는 장치.
  6. 삭제
  7. 삭제
  8. 휴대용 단말기에서 입체 데이터를 생성하기 위한 방법에 있어서,
    입체 데이터 생성을 위한 영상 데이터 및 오디오 데이터를 획득하는 과정과,
    입체 데이터에서 피사체의 움직임 정보를 파악하는 과정과,
    영상 데이터에 대하여 입체 효과를 적용하는 과정과,
    피사체의 움직임 정보에 따라 오디오 데이터에 입체 효과를 적용하는 과정을 포함하며,
    상기 획득한 오디오 데이터에 상기 입체 효과를 적용하는 과정은,
    상기 영상 데이터의 피사체 움직임이 검출되는 제1 시구간에 대한 정보를 획득하는 과정,
    지정된 주파수 영역에서, 상기 제1 시구간에 대한 오디오 데이터의 변화가 확인되는지 여부를 결정하는 과정,
    상기 오디오 데이터의 변화가 확인되는 경우, 상기 획득한 오디오 데이터에 입체 효과를 적용하는 과정을 포함하고,
    상기 획득한 오디오 데이터에 상기 입체 효과를 적용하는 과정은,
    상기 획득한 오디오 데이터에서, 상기 피사체에 대응하는 제1 오디오 데이터 및 배경에 대응하는 제2 오디오 데이터를 추출하고,
    상기 피사체의 움직임 정보를 이용하여 상기 제1 오디오 데이터의 세기를 조절하고, 상기 획득한 오디오 데이터의 세기가 일정하게 유지되도록 제2 오디오 데이터의 세기를 조절하는 과정을 포함하는 방법.
  9. 제 8항에 있어서,
    입체 데이터에서 피사체의 움직임 정보를 파악하는 과정은,
    획득한 영상 데이터에서 초점에 해당하는 피사체와 배경으로 구분하는 과정과,
    피사체의 위치 및 원근 정보를 파악하는 과정을 포함하는 것을 특징으로 하는 방법.
  10. 삭제
  11. 제 8항에 있어서,
    상기 제 1 오디오 데이터 또는 상기 제 2 오디오 데이터에 피사체의 이동 방향에 따라 패닝 효과를 적용하는 과정을 더 포함하는 방법.
  12. 제 8항에 있어서,
    휴대용 단말기에서 입체 데이터를 생성하기 위한 방법은,
    입체 효과가 적용된 영상 데이터 및 오디오 데이터를 이용하여 입체 데이터를 생성하여 재생하는 과정을 포함하되,
    휴대용 단말기는
    오디오 데이터에 대한 입체 효과가 적용되지 않은 입체 데이터 재생시 영상 데이터의 피사체 움직임 정보를 확인하여 오디오 데이터에 입체 효과를 적용하여 재생하는 것을 특징으로 하는 방법.
  13. 제 8항에 있어서,
    피사체의 움직임 정보에 따라 오디오 데이터에 입체 효과를 적용하는 과정은,
    제 1 오디오 데이터가 영상 데이터의 피사체에서 발생하지 않은 경우 오디오 데이터에 입체효과를 적용하지 않는 과정을 포함하는 것을 특징으로 하는 방법.
  14. 삭제
  15. 입체 데이터 재생 장치에 있어서,
    입체 데이터 생성을 위한 영상 데이터를 획득하여 영상 데이터의 피사체의 움직임을 파악하는 영상 처리부와,
    입체 데이터 생성을 위한 오디오 데이터를 획득한 후, 피사체의 움직임을 이용하여 오디오 데이터에 입체 효과를 적용하는 오디오 처리부와,
    입체 효과가 적용된 오디오 데이터 및 영상 데이터를 이용하여 입체 데이터를 생성하고 입체 데이터를 재생하도록 처리하는 제어부와,
    입체 영상 뷰어로 구성되어 입체 데이터의 재생시 입체 효과를 제공하는 표시부를 포함하되,
    상기 제어부는,
    오디오 데이터에 대한 입체 효과가 적용되지 않은 입체 데이터 재생시 영상 데이터의 피사체 움직임 정보를 확인하여 오디오 데이터에 입체 효과를 적용하여 재생하도록 제어하고,
    상기 오디오 처리부는,
    상기 영상 데이터의 피사체 움직임이 검출되는 제1 시구간에 대한 정보를 획득하고,
    지정된 주파수 영역에서, 상기 제1 시구간의 오디오 데이터의 변화가 확인되는지 여부를 결정하고,
    상기 오디오 데이터의 변화가 확인되는 경우, 상기 오디오 데이터에 입체 효과를 적용하도록 설정되고,
    상기 오디오 처리부는,
    상기 획득한 오디오 데이터에서, 상기 피사체에 대응하는 제1 오디오 데이터 및 배경에 대응하는 제2 오디오 데이터를 추출하고,
    상기 피사체의 움직임 정보를 이용하여 상기 제1 오디오 데이터의 세기를 조절하고, 상기 획득한 오디오 데이터의 세기가 일정하게 유지되도록 제2 오디오 데이터의 세기를 조절함으로써, 상기 획득한 오디오 데이터에 입체 효과를 적용하도록 설정된 장치.
KR1020110109821A 2011-10-26 2011-10-26 휴대용 단말기에서 입체 데이터를 생성하기 위한 장치 및 방법 KR101861590B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020110109821A KR101861590B1 (ko) 2011-10-26 2011-10-26 휴대용 단말기에서 입체 데이터를 생성하기 위한 장치 및 방법
US13/611,690 US20130106997A1 (en) 2011-10-26 2012-09-12 Apparatus and method for generating three-dimension data in portable terminal
JP2012204492A JP2013093840A (ja) 2011-10-26 2012-09-18 ポータブル端末における立体データ生成装置及び方法並びに電子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110109821A KR101861590B1 (ko) 2011-10-26 2011-10-26 휴대용 단말기에서 입체 데이터를 생성하기 위한 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130045553A KR20130045553A (ko) 2013-05-06
KR101861590B1 true KR101861590B1 (ko) 2018-05-29

Family

ID=48172008

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110109821A KR101861590B1 (ko) 2011-10-26 2011-10-26 휴대용 단말기에서 입체 데이터를 생성하기 위한 장치 및 방법

Country Status (3)

Country Link
US (1) US20130106997A1 (ko)
JP (1) JP2013093840A (ko)
KR (1) KR101861590B1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6077957B2 (ja) * 2013-07-08 2017-02-08 本田技研工業株式会社 音声処理装置、音声処理方法、及び音声処理プログラム
KR102206060B1 (ko) * 2013-11-19 2021-01-21 삼성전자주식회사 전자 장치의 효과 디스플레이 방법 및 그 전자 장치
US9640219B1 (en) * 2014-03-31 2017-05-02 Google Inc. Systems and methods for modifying a segment of an uploaded media file
CN105282375B (zh) * 2014-07-24 2019-12-31 钰立微电子股份有限公司 附着式立体扫描模块
CN112954580B (zh) 2014-12-11 2022-06-28 杜比实验室特许公司 元数据保留的音频对象聚类
CN107409264B (zh) * 2015-01-16 2021-02-05 三星电子株式会社 基于图像信息处理声音的方法和对应设备
US11783864B2 (en) * 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
JP6821028B2 (ja) * 2017-08-04 2021-01-27 株式会社ソニー・インタラクティブエンタテインメント 撮像装置および画像データ読み出し方法
GB2567244A (en) * 2017-10-09 2019-04-10 Nokia Technologies Oy Spatial audio signal processing
KR102483470B1 (ko) 2018-02-13 2023-01-02 한국전자통신연구원 다중 렌더링 방식을 이용하는 입체 음향 생성 장치 및 입체 음향 생성 방법, 그리고 입체 음향 재생 장치 및 입체 음향 재생 방법
JP7185814B2 (ja) * 2019-11-11 2022-12-08 株式会社meleap 情報処理装置、情報処理方法及びプログラム
CN113824946A (zh) * 2020-06-18 2021-12-21 和硕联合科技股份有限公司 电子手写笔
KR20230075908A (ko) * 2021-11-23 2023-05-31 삼성전자주식회사 전자 장치 및 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006128816A (ja) * 2004-10-26 2006-05-18 Victor Co Of Japan Ltd 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア
US20100026780A1 (en) 2008-07-31 2010-02-04 Nokia Corporation Electronic device directional audio capture
JP2010199739A (ja) 2009-02-23 2010-09-09 Fujifilm Corp 立体表示制御装置、立体表示システムおよび立体表示制御方法
US20120002024A1 (en) 2010-06-08 2012-01-05 Lg Electronics Inc. Image display apparatus and method for operating the same

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3091629B2 (ja) * 1994-04-12 2000-09-25 三洋電機株式会社 立体映像表示装置
US7787009B2 (en) * 2004-05-10 2010-08-31 University Of Southern California Three dimensional interaction with autostereoscopic displays
JP2008035472A (ja) * 2006-06-28 2008-02-14 National Univ Corp Shizuoka Univ 車内外音響伝送システム
US8493448B2 (en) * 2006-12-19 2013-07-23 Koninklijke Philips N.V. Method and system to convert 2D video into 3D video
US8229134B2 (en) * 2007-05-24 2012-07-24 University Of Maryland Audio camera using microphone arrays for real time capture of audio images and method for jointly processing the audio images with video images
KR100934928B1 (ko) * 2008-03-20 2010-01-06 박승민 오브젝트중심의 입체음향 좌표표시를 갖는 디스플레이장치
US20100098258A1 (en) * 2008-10-22 2010-04-22 Karl Ola Thorn System and method for generating multichannel audio with a portable electronic device
US20100309290A1 (en) * 2009-06-08 2010-12-09 Stephen Brooks Myers System for capture and display of stereoscopic content
CN102906623A (zh) * 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
US8755432B2 (en) * 2010-06-30 2014-06-17 Warner Bros. Entertainment Inc. Method and apparatus for generating 3D audio positioning using dynamically optimized audio 3D space perception cues

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006128816A (ja) * 2004-10-26 2006-05-18 Victor Co Of Japan Ltd 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア
US20100026780A1 (en) 2008-07-31 2010-02-04 Nokia Corporation Electronic device directional audio capture
JP2010199739A (ja) 2009-02-23 2010-09-09 Fujifilm Corp 立体表示制御装置、立体表示システムおよび立体表示制御方法
US20120002024A1 (en) 2010-06-08 2012-01-05 Lg Electronics Inc. Image display apparatus and method for operating the same

Also Published As

Publication number Publication date
KR20130045553A (ko) 2013-05-06
JP2013093840A (ja) 2013-05-16
US20130106997A1 (en) 2013-05-02

Similar Documents

Publication Publication Date Title
KR101861590B1 (ko) 휴대용 단말기에서 입체 데이터를 생성하기 위한 장치 및 방법
CN107211208B (zh) 基于相机选择的音频处理
US9940969B2 (en) Audio/video methods and systems
KR101717787B1 (ko) 디스플레이장치 및 그의 음성신호 출력 방법
US8064754B2 (en) Method and communication apparatus for reproducing a moving picture, and use in a videoconference system
US20130093837A1 (en) Method and apparatus for processing audio in video communication
KR102615844B1 (ko) 맹인 또는 시각 장애인에게 소리 또는 촉각에 의하여 주변환경을 이해할 수 있도록 하는 휴대용 시스템
WO2015093315A1 (ja) 画像処理装置および方法、並びにプログラム
WO2016187924A1 (zh) 一种图像信息展现***和方法
CN107592452B (zh) 一种全景音视频采集设备及方法
JP6580516B2 (ja) 処理装置および画像決定方法
CN107172413A (zh) 现实场景视频显示方法和***
WO2016072238A1 (ja) 画像処理装置、画像表示装置、画像処理方法及び画像表示方法
JP2013115527A (ja) テレビ会議システム及びテレビ会議方法
JP6538003B2 (ja) アクチュエータ装置
KR101645465B1 (ko) 휴대용 단말기에서 입체 영상 데이터를 생성하기 위한 장치 및 방법
CN114422935A (zh) 音频处理方法、终端及计算机可读存储介质
JP2013150202A (ja) 送受信システム及び送受信方法、受信装置及び受信方法
US9992532B1 (en) Hand-held electronic apparatus, audio video broadcasting apparatus and broadcasting method thereof
KR101306439B1 (ko) 스테레오스코픽 3ｄ 콘텐츠 프로젝터를 구비한 디지털 단말 장치 및 그 제어 방법
JP2011234139A (ja) ３次元音声信号生成装置
JP2009065490A (ja) テレビ会議装置
JP2013027049A (ja) ３ｄディスプレイ装置及びコンテンツ出力方法
JP2019096220A (ja) 文字情報提供装置および方法
JP2018005526A (ja) 情報処理装置、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant