KR20040027015A - 스트리밍시 오디오의 대역폭을 줄이기 위하여 몰입형오디오를 이용한 새로운 다운믹싱 기법 - Google Patents

Abstract

본 발명은 Dolby Digital, DTS(Digital Theater System)등의 사운드 형식에서 지원되는 다중채널을 스트리밍(streaming)하기 위하여, 5채널을HRTF(Head Related Transfer Function)를 기반으로 Binaural Synthesis를 한 후 2 채널로 다운믹싱(down-mixing)함으로써, 스트리밍시 각 채널의 방향성을 유지하여 입체감을 유지하면서 사운드 부분의 대역폭을 감소시키는 기법이다.

Dolby Digital, DTS 등의 사운드 형식은 5.1 채널을 가질 수 있고, 5.1 채널은 중앙, 좌, 우, 서라운드(surround) 좌, 서라운드 우 그리고, 저주파 효과 채널 등의 6개 채널로 구성된다. 보편적으로 중앙 채널은 청취자의 중앙, 좌우 채널은 청취자의 좌우 30도 위치, 좌우 서라운드 채널은 좌우 120도 위치에서 방향 성분을 가진다. 저주파 효과 채널은 120 Hz 이하의 대역폭을 가지므로, 방향성분을 가지지 않는다. 본 발명에서는 방향성을 가지는 중앙, 좌, 우, 서라운드 좌, 서라운드 우 등의 5개의 채널을 HRTF를 기반으로 Binaural Synthesis한 후 2채널로 다운믹싱 함으로써 방향 성분을 유지한다. 즉, 사운드의 입체감은 유지하면서 사운드의 대역폭(bandwidth)을 감소시킴으로써, 제한된 대역폭에서 비디오에 보다 많은 대역폭을 할당하여 양질의 비디오와 오디오를 함께 스트리밍 할 수 있게 하는 방법을 제안한다.

Description

스트리밍시 오디오의 대역폭을 줄이기 위하여 몰입형 오디오를 이용한 새로운 다운믹싱 기법 {New Down-Mixing Technique to Reduce Audio Bandwidth using Immersive Audio for Streaming}

스트리밍시 5개의 채널을 모두 전송하거나 혹은 2개의 채널로 단순 다운 믹싱하여 스트리밍한다. 5개의 채널을 전송하는 경우에 많은 양의 데이터를 전송해야 하기 때문에 실시간 전송이 불가능할 수 있고, 2개의 채널로 단순 다운믹싱하는 경우에는 사운드의 입체감을 그대로 유지하는 것이 힘들어 진다.

고화질을 가지는 DVD등의 영상물은 사운드의 입체감을 살리기 위해 돌비 디지탈, DTS 등에서 제공하는 5.1채널을 이용한다. 일반적으로 5.1채널은 Dolby Digital의 경우에는 448 Kbps의 대역폭을 가지고, DTS의 경우 1411 Kbps의 대역폭을 가진다. 고화질의 DVD급 영상물을 스트리밍하려면 Dolby Digital 혹은 DTS의 대역폭은 ADSL과 같은 초고속 인터넷에서 조차도 제한된 대역폭 내에서 상당히 많은 대역폭을 차지하므로, 상대적으로 비디오의 대역폭을 잠식한다. 본 발명에서는 Binaural Synthesis를 이용하여 각 채널의 방향성을 유지한 후, 5채널을 2채널로 다운믹싱함으로써, 5채널 본래의 입체감은 유지되면서 채널의 감소로 인한 대역폭의 절감 효과도 기대할 수 있다. 결과적으로, 만약 영상물을 제한된 대역폭에서 스트리밍한다면, 전체 대역폭에서 사운드의 대역폭은 감소하고 상대적으로 비디오에 보다 많은 대역폭을 할당할 수 있기 때문에, 고화질의 비디오와 입체감을 가지는 사운드를 함께 제공할 수 있다.

스트리밍시 제한된 대역폭에서 5.1채널과 같은 다중채널을 방향성을 유지하여 입체감을 유지하여 2채널로 다운믹싱함으로써 비디오에 보다 많은 대역폭을 할당하여 오디와 함께 비디오도 양질의 스트리밍이 될 수 있도록 한다.

(도 1) 5개의 채널을 2개의 채널로 다운믹싱하는 전체 과정

(도 2) Binaural Synthesis와 2채널로 다운믹싱하는 세부 과정

일반적으로 5.1채널(좌, 우, 중앙, 서라운드 좌, 서라운드우 그리고 저주파 효과 채널)을 이용하여 입체감 있는 사운드를 듣기 위해서는 방향성을 가지지 않는 저주파 효과 채널을 제외한 5채널에 해당하는 스피커의 위치가 중요하다. 즉 5개 스피커의 위치에 의해서 입체감이 형성된다. 본 발명에서는 5개 채널의 각각을HRTF를 이용하여 binaural synthesis함으로써 각 채널에 방향성을 준 후, 5채널을 2 채널로 다운믹싱하여 헤드폰으로 청취시 입체감을 느낄 수 있게 한다. 또한 2채널로 다운믹싱된 결과를 cross-talk 제거 필터를 통과시킴으로써 2개의 스피커를 통해서도 청취자가 입체감을 느낄 수 있도록 한다.

첫번째 단계는 (도 1)과 같이 압축된 좌, 우, 중앙, 서라운드 좌, 그리고 서라운드 우 등의 5개 채널에 binaural synthesis를 하기 위해서는 압축된 5개 채널을 PCM(Pulse Coded Modulation)등의 형태로 압축을 풀어준다. 두번째 단계는 5개 채널에 각각 Binaural Synthesis를 한다. Binaural synthesis란 방향성이 없는 모노 채널을 특정한 각도의 방향성을 가지는 HRTF 필터에 통과시킴으로써 방향성을 가지는 신호로 변환하는 것이다. 두번째 단계를 (도 2)에 상세하게 나타내었다. (도 2)와 같이, 좌 채널의 경우 방위각 좌30도 위도 0도 HRTF를 이용하여 Binaural Synthesis한다. 우 채널의 경우 방위각 우30도 위도 0도 HRTF를 이용하여 Binaural Synthesis한다. 중앙 채널은 방위각 0도 위도 0도 HRTF를 이용하여 Binaural Synthesis한다. 서라운드 좌는 방위각 좌120도 위도 0도 HRTF를 이용하여 Binaural Synthesis한다. 서라운드 우는 방위각 우120도 위도 0도 HRTF를 이용하여 Binaural Synthesis한다. 세번째 단계에서 Binaural Synthesis를 통과한 5개의 채널을 (도2)와 같이 2개의 채널로 다운믹싱 한다. 헤드폰으로 청취하는 경우는 2채널로 다운믹싱된 PCM 신호를 MP3등으로 압축하면 헤드폰을 위한 다운믹싱은 끝난다. 만약 압축을 위해서MP3를 이용하여 128 Kbps로 압축한다면 Dolby digital의 경우 448 Kbps가 128Kbps로 감소하게 된다.

청취자가2개의 스피커를 통해서 청취하고자 할 때는, 입체감을 느끼기 위해서는 Binaural Synthesis 한 후 2채널로 다운믹싱된 채널들 중에서 좌 채널은 좌측귀에 들어가고 우측 채널은 우측귀에 들어가야만 한다. 그러나 스피커의 경우에는 어쩔 수 없이 좌 채널의 일부가 우측귀에 들어가고, 우 채널의 일부가 좌측귀에 들어간다. 이를 Cross-talk이라 하는데 Cross-talk이 존재하면, Binaural Synthesis된 신호에서 청취자가 입체감을 느낄 수 없다. 헤드폰을 통해서 들을 때는 좌측 채널은 좌측귀에, 우측 채널은 우측귀에 들어가기 때문에 채널 상호간의 Cross-talk은 발생되지 않는다. 그러나, 스피커의 경우는 다르다. 2개의 스피커를 통해서 청취하고자 할 때는Binaural Synthesis후 2채널로 다운믹싱된 채널들을 (도 1)의 점선으로 표시된 부분인 Cross-talk 제거 필터를 통과시켜야 한다. 즉, 2개의 스피커를 통해 청취하는 경우에는Cross-talk 제거 필터를 통과한 2채널을 MP3로 압축한다. 이렇게 하면, 2개의 스피커를 사용해서도 입체감 있는 사운드를 즐길 수 있다.

본 발명은 오디오 스트리밍에 필요한 대역폭을 줄이면서 헤드폰이나 2개의 스피커를 사용하여 사운드의 입체감을 유지하는 방법에 대한 것이다. 적은 대역폭으로 입체감 있는 사운드를 전송하는 것이 가능해 지므로, 휴대폰과 같은 데이터 전송환경에서도 헤드폰을 이용하여 오케스트라 연주 같은 사운드를 즐길 수 있다. 아울러 DVD와 같은 영상물의 경우에 제안한 기법을 적용한다면 오디오의 입체감은 유지되고 대역폭은 감소하게 된다. 이는, 제한된 전송대역폭이라면 더 좋은 비디오를 기대할 수 있고, 같은 비디오 화질이라면 더 작은 대역폭이 필요함 (더 많은 가입자 서비스가 가능함)을 의미 한다.

Claims (1)

1. Dolby Digital 혹은 DTS등에서 제공되는 다중 채널을 HRTF를 기반으로 Binaural Synthesis한 후 2개의 채널로 다운믹싱하여 스트리밍하는 기법