KR100658866B1 - 비디오 및 오디오 데이터 동기화 장치 및 방법 - Google Patents

Abstract

본 발명은 카메라-폰 녹화스트림을 만드는데 있어서, 특히 동영상녹화시 타이머를 이용, 오디오 데이터가 동일한 시간간격으로 입력되도록 하여, 녹화시 일시정지 후, 녹화재시작시 이후 처음 들어오는 오디오 데이터를 비디오와 오디오의 동기화지점으로만 보고 동영상녹화파일에 포함시키지 않음으로써, 녹화된 영상의 품질을 향상시키는 오디오 및 비디오 데이터 동기화 장치 및 방법을 제공한다.

본 발명에 따른 비디오 및 오디오 데이터 동기화 방법은, 녹화일시정지후, 녹화재시작시 들어오는 첫번째 오디오 데이터 신호를 녹화시작 신호로 인식하여 타이머를 동작시키는 단계; 상기 타이머를 동작시킨 킨 후, 상기 첫번째 오디오 데이터 신호가 버려지는 단계; 상기 녹화재시작시 오디오 데이터 신호와 같이 들어오는 비디오 데이터 신호와, 녹화일시정지 명령 이전의 비디오 데이터 신호가 들어온 시간의 선후를 비교하는 단계; 상기 비교결과, 상기 녹화재시작시 오디오 데이터 신호와 같이 들어오는 비디오 데이터 신호가 상기 이전의 비디오 데이터 신호가 들어온 시간보다 작을 경우, 경과시간을 0 으로 만드는 단계; 및 상기 동작되는 타이머에 따라, 녹화가 수행되는 단계를 포함하는 것을 특징으로 것을 특징으로 한다.

비디오 데이터 동기화, 비디오 코덱, 오디오 코덱, 경과시간, 타이머, 녹화일시정지, 녹화재시작

Description

비디오 및 오디오 데이터 동기화 장치 및 방법{Synchronization apparatus and method for video and audio data}

도 1은 종래의 휴대용단말기에서의 개략 구성도로서, 녹화 모드시 칩간 동기화를 위한 개략 블록 구성도.

도 2는 본 발명 실시 예에 따른 비디오 및 오디오 데이터 동기화 장치를 나타낸 구성도.

도 3은 본 발명에 따른 오디오 및 비디오 데이터 동기화 방법으로 동영상 파일 녹화시, 일시정지 후 녹화재시작을 한 경우 비디오/오디오 데이터 스트림과 종래의 비디오 및 오디오 데이터 동기화 방법으로 동영상 파일 녹화시 일시정지 후 녹화재시작을 한 경우 비디오/오디오 데이터 스트림을 비교한 도면.

도 4는 본 발명에 따른 비디오 및 오디오 동기화 방법을 나타낸 플로우챠트.

<도면의 주요 부분에 대한 부호의 설명>

200 : 고주파부 202 : 모뎀 칩(MSM) 204 : 오디오 처리부 206 : 오디오 코덱 208 : 타이머 210 : 경과시간계산부

212 : 스피커 214 : 마이크 216 : 키입력부

218 : 비디오 코덱 220 : DSP 칩 222 : 카메라부

224 : 표시부

본 발명은 비디오 및 오디오 데이터 동기화 장치 및 방법에 관한 것이다.

상기 비디오 및 오디오 데이터 동기화 장치 및 방법은 휴대용단말기나 캠코더기기 등 동영상녹화기능이 제공되는 모든 영역에 적용될 수 있으나, 이하 휴대 용단말기를 일례로 설명한다.

최근의 휴대용단말기는 고화질 디지털 카메라가 장착되어, 사진을 찍을 수 있도록 만들어진 카메라 폰이 출시되어 사용되고 있다. 이러한 휴대용단말기에서의 카메라는 외장형과 내장형으로 구분되는데, 외장형은 별도로 판매하는 초소형 디지털 카메라를 구입해 휴대 전화기 본체에 부착하는 방식이고, 내장형은 전화기 자체에 소형 카메라 렌즈가 달려 있는 방식이다.

이러한 휴대용단말기는 단순한 사진만을 찍을 수 있는 카메라 폰부터 30분 길이의 동영상을 찍을 수 있는 카메라 폰, 26만 컬러 액정화면과 디지털 줌 기능을 갖춘 카메라 폰 등 종류와 성능도 다양하다.

상기 휴대용단말기는 영상 화면을 촬영하여 동영상(moving picture) 및 정지영상(still picture)으로 표시할 수 있으며, 또한 촬영된 영상 화면을 기지국에 전송할 수도 있다.

이와 같이 휴대용단말기에서 녹화 기능 또는 캠코더 기능을 수행하려고 할 때, 비디오 데이터와 오디오 데이터간의 시간 동기화가 이루어져야 한다.

도 1은 종래 휴대용단말기에서의 개략 구성도로서, 녹화 모드시 칩간 동기화를 위한 개략 블록 구성도이다.

도 1을 참조하면, 휴대용단말기는 모뎀 칩(100) 및 DSP 칩(102)을 포함한다. 모뎀 칩(1)은 통화에 관련된 각 종 동작 제어 및 시스템의 전반적인 동작을 제어하며, 사용자의 키 입력을 감지하여 DSP 칩(102)을 제어하게 된다.

여기서, 상기 모뎀 칩(100)은 일 예로, MSM(Mobile station MODEM(Modulator and Demodulator))칩으로 구현될 수 있다.

DSP(Digital Signal Processor) 칩(102)은 디지털 신호 프로세서로서, 모뎀 칩(100)에 의해 동작 제어를 받는다.

상기와 같은 휴대용단말기의 녹화 모드시, 듀얼 칩(100)(102)을 사용하는 휴대용단말기에서 두 개의 칩 중 하나의 칩에서만 타이머(104)가 사용되고 나머지 칩에서는 상기 타이머를 사용한 칩에서 시간을 받아서 칩간의 동기화를 수행하게 된다.

상기 모뎀 칩(100)은 입력되는 오디오 신호를 인코딩하고, DSP 칩(102)은 카메라로 캡쳐된 비디오 신호를 인코딩하게 된다. 이때, 두 개의 칩간의 동기화를 위해 모뎀 칩(100)은 타이머(104)에서 발생되는 클럭의 시간 정보로부터 오디오 데이터를 인코딩하고, 이때의 오디오 데이터와 오디오 시간 증가분을 DSP 칩(102)으로 전달한다. 여기서, 상기 오디어 시간 증가분은 구해진 오디오 시간 증가분 동안 해당 오디오 데이터를 재생시켜 주는 시간이다.

상기 DSP 칩(102)은 오디어 데이터 및 오디오 경과시간을 받아서 메모리부( 미도시)에 저장하고, 상기 오디오 경과시간을 이용하여 비디오 경과시간을 구하게 된다. 여기서, 비디오 경과시간은 비디오 데이터의 재생을 위해 저장되는 시간 값이다.

상기 비디오 경과시간은 현재 오디오 경과시간을 합한 전체 시간에서 이전 오디오 시간까지의 합을 감산한 값으로 구해진다. 그러므로, DSP 칩(102)은 오디오 데이터 및 오디오 경과시간, 비디오 데이터 및 비디오 경과시간을 메모리에 저장하게 된다.

상기와 같이 동작하는 종래의 비디오 및 오디오 데이터 동기방법을 사용하게 되면, 프로세서가 적당한 시기에 부호화를 시켜주지 못하고, 비디오 데이터 신호를 잃게 되어 시간적 동기화가 틀어지는 문제점이 생긴다.

또한, 일시정지/녹화재시작(Pause/Resume) 동작을 여러번 반복하게 되면, 녹화된 오디오 데이터 신호간격이 동일하지 못해, 영상 또는 음성의 연결이 부자연스럽고, 잡음이 발생할 수 있으며 MP4 파일포맷(File Format)의 특성상 동영상파일의 크기가 증가되는 문제점이 생긴다.

본 발명은 동영상녹화시 내부타이머를 이용, 오디오 데이터가 동일한 시간간격으로 입력되도록 하여, 녹화시 일시정지 후, 녹화재시작시 이후 처음 들어오는 오디오 데이터를 비디오와 오디오의 동기화지점으로만 보고 동영상녹화파일에 포함시키지 않음으로써, 녹화된 영상의 품질을 향상시키는 오디오 및 비디오 데이터 동기화 장치 및 방법을 제공한다.

본 발명에 따른 오디오 및 비디오 데이터 동기화 장치는, 녹화일시정지후, 녹화재시작되는 기기에 있어서, 시스템의 전반적인 제어 및 통화 제어를 수행하며, 상기 녹화재시작시 첫번째 오디오 신호가 들어오면 타이머를 동작시킨 후, 상기 첫번째 오디오 데이터를 버리는 모뎀칩(MSM); 상기 모뎀칩과 연결되어, 상기 첫번째 오디오 데이터 이후의 오디오 데이터 및 오디오 경과시간의 저장을 제어하는 DSP 칩; 상기 DSP 칩과 연결되어, 녹화 모드시 비디오 데이터를 캡쳐하여 초당 일정 개의 프레임을 상기 DSP 칩에 전달하는 카메라부; 상기 DSP 칩과 연결되어, 상기 모뎀칩으로부터 전달받은 오디오 데이터 및 오디오 경과시간을 저장하고, 비디오 데이터가 입력될 때마다 상기 경과시간을 비디오 경과시간으로 저장하는 메모리부; 를 구비하며, 상기 모뎀칩은 상기 녹화재시작시 오디오 데이터와 같이 들어오는 비디오 데이터와, 녹화일시정지 명령 이전의 비디오 신호가 들어온 시간의 선후를 비교하는 경과시간계산부를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 오디오 및 비디오 데이터 동기화 방법은, 녹화일시정지후, 녹화재시작시 들어오는 첫번째 오디오 데이터 신호를 녹화시작 신호로 인식하여 타이머를 동작시키는 단계; 상기 타이머를 동작시킨 킨 후, 상기 첫번째 오디오 데이터 신호가 버려지는 단계; 상기 녹화재시작시 오디오 데이터 신호와 같이 들어오는 비디오 데이터 신호와, 녹화일시정지 명령 이전의 비디오 데이터 신호가 들어온 시간의 선후를 비교하는 단계; 상기 비교결과, 상기 녹화재시작시 오디오 데이터 신호와 같이 들어오는 비디오 데이터 신호가 상기 이전의 비디오 데이터 신호가 들어온 시간보다 작을 경우, 경과시간을 0 으로 만드는 단계; 및 상기 동작되는 타이머에 따라, 녹화가 수행되는 단계를 포함하는 것을 특징으로 한다.

일반적으로 오디오 데이터 신호는 동일한 시간간격으로 입력되어 오디오코덱을 거치게 된다. 휴대용단말기에서 동영상녹화에 많이 사용되는 음성신호 압축방법 은 저음질의 경우 AMR, QCELP,EVRC 등이며 고음질의 경우 AAC등이다.

비디오 데이터 신호 역시 동일한 시간간격으로 입력되어 비디오코덱을 거치게 되는데 MPEG-4, H.263, H.264등의 압축방법을 사용한다. 그리고 상기 압축방법에 의한 압축데이터는 대부분 MP4 파일 포맷(File Format)에 따라 시간정보와 함께 파일에 저장된다.

따라서, 본 발명에서 시간적동기화를 맞추는 것은 결국 입력된 오디오 데이터 신호와 비디오 데이터 신호를 동일한 시간축으로 묶어두는 것을 의미하며, 오디오 데이터 신호가 입력된 시간을 기준으로 해서 각각의 비디오 데이터 신호를 묶어두는데 초점을 맞춘다.

상기 비디오 데이터 신호를 오디오 데이터 신호에 맞추어 동기화시키기 위해서는 먼저, 모든 오디오 데이터 신호를 동일한 시간간격으로 입력되도록 보장해야 하고, 그러기 위해서, 상기 오디오 데이터 신호가 입력될 때마다 경과시간을 보정하고 경과시간을 증가시키는 내부타이머를 시작시킨다.

또한, 오디오코덱을 거쳐 나온 음성압축데이터를 음성신호가 입력된 시간과 함께 저장시키고, 상기 비디오 신호가 입력될 때마다 현재 경과시간을 비디오 경과시간으로 저장한다.

마찬가지로, 비디오코덱을 거쳐 나온 영상압축데이터를 저장된 비디오 경과시간과 함께 파일에 저장한다.

이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.

도 2는 본 발명 실시 예에 따른 비디오 및 오디오 데이터 동기화 장치를 나 타낸 구성도이다.

도 2를 참조하면, 상기 비디오 및 오디오 데이터 동기화 장치는 무선 통신을 위한 고주파부(200)와, 통화 제어와 시스템 전반적인 동작 제어하는 모뎀 칩(MSM)(202)과, 입출력되는 오디오 신호를 처리하는 오디오 처리부(204)를 포함하는 구성이다.

모뎀 칩(202)은 패킷데이터 등을 처리하는 데이터 코덱과 음성 등의 오디오 신호를 처리하는 오디오 코덱(206)을 구비한다.

또한, 상기 모뎀 칩(202)은 오디오 데이터 신호가 입력될 때마다 경과시간을 보정하고 경과시간을 증가시키는 타이머(208)와, 녹화일시정지후, 녹화재시작시 들어오는 첫번째 오디오 신호가 들어오면 타이머(208)를 동작시키고, 상기 녹화재시작시 오디오 신호와 같이 들어오는 비디오 신호와, 녹화일시정지 명령 이전의 비디오 신호가 들어온 시간의 선후를 비교하는 경과시간계산부(210)를 포함하는 구성이다.

또한, 비디오 및 오디오 데이터 동기화 장치는, 오디오 신호의 입출력을 위한 스피커(212) 및 마이크(214), 통화 및 녹화를 위한 각 종 키 신호를 구비한 키 입력부(216)와, 녹화 모드시 카메라로부터 들어오는 비디오 신호를 처리하며, 비디오 코덱(218)을 구비한 DSP 칩(220)을 포함하는 구성이다.

또한, 상기 비디오 및 오디오 데이터 동기화 장치는, 외부 영상을 캡쳐하여 상기 DSP 칩(220)으로 전달하는 카메라부(222)와, 정보 표시를 위한 LCD(Liquid Crystal Display)부(224)와, 데이터를 저장하는 메모리부(226)를 포함하는 구성이 다.

도 3은 본 발명에 따른 오디오 및 비디오 데이터 동기화 방법으로 동영상 파일 녹화시, 일시정지 후 녹화재시작을 한 경우 비디오/오디오 데이터 스트림과 종래의 비디오 및 오디오 데이터 동기화 방법으로 동영상 파일 녹화시 일시정지 후 녹화재시작을 한 경우 비디오/오디오 데이터 스트림을 비교한 도면이다.

도 3의 (a)는 휴대용단말기를 이용한 동영상 파일 재생중, 일시정지와 녹화재시작 명령에 따른 오디오/비디오 데이터를 나타낸 도면이다.

즉, 동영상 파일 재생시, 일정간격으로 들어오던 비디오/오디오 데이터에 사용자에 의한 일시정지 명령(300)이 들어온다. 그러면, 상기 비디오/오디오 데이터가 잠시 끊어지게 되고, 사용자에 의해 녹화재시작 명령(302)이 들어오면, 상기 비디오/오디오 데이터가 다시 재생된다.

도 3의 (b)는 도 3의 (a)에서 일시정지 후, 녹화재시작으로 인해 오디오 데이터 신호의 간격이 일정치 않게 된 종래의 비디오/오디오 데이터를 나타낸 도면이다.

다시말해, 상기 일시정지후, 녹화재시작된 상기 비디오/오디오 데이터의 스트림 간격이 다른 일정간격을 유지하는 비디오/오디오 데이터에 비해 넓혀져 있으며, 비디오 데이터는 하나의 오디오 데이터 간격에 복수개가 들어가는 경우가 발생한다.

도 3의 (c)를 참조하면, 상기 도 3의 (b)를 일정간격으로 들어오는 오디오 신호에 맞추어 스트림을 조정하는 경우, 시간상 나중 비디오 데이터인 V[4]가 V[3] 앞에 위치된 비디오 데이터의 시간역전 현상이 일어나게 되는 것을 알 수 있다.

즉, 종래의 비디오/오디오 데이터 동기방법을 사용하게 되면, 프로세서가 적당한 시기에 부호화를 시켜주지 못하고, 비디오 데이터 신호를 잃게 되어 시간적 동기화가 틀어지는 문제점이 생긴다.

도 3의 (d)를 참조하면, 본 발명에서 제안한 비디오 및 오디오 동기화 방법에 따라, 녹화 일시정지후, 녹화재시작시 처음 들어오는 오디오 신호인 A[3]를 버린다음, 그 시점을 시작신호로 하여 오디오 신호시간으로 비디오 신호를 맞춘다.

여기서, 상기 A[3] 신호를 버린다는 것은 그 데이터를 동영상녹화파일에 포함시키지 않는다는 의미이다.

동영상파일 재생시 동영상파일내부의 시간정보를 이용해서 동영상을 재생하게 되는데, 시간정보는 오디오와 비디오가 같이 공유를 하는데 녹화시 일시정지후, 녹화 재시작을 수행하면 시간정보가 틀어질 수 있다.

따라서 오디오의 시간간격을 동일하게 두어 타이머처럼 사용하면서 녹화시 일시정지후 녹화재시작시 이후 처음 들어오는 오디오데이터를 비디오와 오디오의 동기화지점으로만 보고 동영상녹화파일에 포함시키지 않는다.

상기와 같은 이유로 버려진 A[3] 이후의 비디오 및 오디오 데이터 신호는 오디오 신호에 맞춰져 비디오 신호가 들어오게 되고, V[5]의 경우, 이미 저장된 V[3] 보다 시간적으로 '이전영상신호가 들어온 시간보다 작은' 경우이므로 경과시간이 0 으로 만들어 진다.

결론적으로, A[2]와 A[4] 사이에는 V[3], V[5], V[6] 이라는 3개의 비디오신 호가 나타나지만, 시간적으로 빨리 지나가기 때문에 사용자가 직접 육안으로 볼때에는 문제가 생기지 않는다.

다시말해, 첫번째 오디오 데이터 신호를 시작신호로 인식하게 함으로써, 오디오 데이터 신호의 간격을 동일하게 하고, 비디오 데이터 신호의 간격을 보상함으로써 잡음이 작게 발생하면서 부드러운 영상의 연결이 이루어진다.

도 4는 본 발명에 따른 비디오 및 오디오 동기화 방법을 나타낸 플로우챠트이다.

도 4를 참조하면, 휴대용단말기나 캠코더기기 등 동영상녹화기능이 제공되는 기기를 이용하여 녹화를 수행하던 중, 사용자에의한 일시정지 명령에 따라 녹화가 일시정지 된다(S400).

그런다음, 상기 휴대용단말기나 캠코더기기 등 동영상녹화기능이 제공되는 기기의 제어부는 사용자에 의한 녹화재시작 명령이 입력되었는지 판단한다(S402).

상기 판단결과, 상기 녹화재시작 명령을 입력받지 않았다면, 상기 녹화재시작 명령을 입력받을 때까지 일시정지상태에서 대기하고 있지만, 상기 녹화재시작 명령을 입력받았다면, 녹화재시작 후 들어오는 비디오 및 오디오 데이터 신호 중 첫번째 오디오 데이터 신호를 녹화시작을 알리는 신호로 인식하고 타이머를 동작킨 후, 그 첫번째 음성신호는 버린다(S404).

여기서, 상기 첫번째 들어오는 오디오 데이터 신호를 버린다는 것은 그 데이터를 동영상녹화파일에 포함시키지 않는다는 의미이다.

그런다음, 녹화재시작시 상기 오디오 데이터 신호와 같은 스트림으로 들어오 는 비디오 데이터 신호의 시간이, 이전 비디오 데이터 신호가 들어온 시간보다 작은 경우, 경과시간을 0 으로 만든다(S406).

단계 406의 수행후, 휴대용단말기나 캠코더기기 등 동영상녹화기능이 제공되는 기기의 녹화가 재시작된다(S408).

요약하면, 동영상녹화시 내부타이머를 이용, 오디오 데이터가 동일한 시간간격으로 입력되도록 하여, 프레임율이 떨어지는 환경이나 녹화시 일시정지 후, 녹화재시작시 이후 처음 들어오는 오디오 데이터를 비디오와 오디오의 동기화지점으로만 보고 동영상녹화파일에 포함시키지 않음으로써, 안정적이고 잡음이 없으며 부드러운 영상을 만들어낼 수 있게 된다.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다.

따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

동영상녹화시 내부타이머를 이용, 오디오 데이터가 동일한 시간간격으로 입력되도록 하여, 프레임율이 떨어지는 환경이나 녹화시 일시정지 후, 녹화재시작 이후 처음 들어오는 오디오 데이터를 비디오와 오디오의 동기화지점으로만 보고 동영상녹화파일에 포함시키지 않음으로써, 안정적이고 잡음이 없으며 부드러운 영상을 만들어낼 수 있다.

Claims (6)

1. 녹화일시정지후, 녹화재시작되는 기기에 있어서,

   시스템의 전반적인 제어 동작을 수행하며, 상기 녹화재시작시 첫번째 오디오 신호가 들어오면 타이머를 동작시킨 후, 상기 첫번째 오디오 데이터를 버리는 모뎀칩(MSM);

   상기 모뎀칩과 연결되어, 상기 첫번째 오디오 데이터 이후의 오디오 데이터 및 오디오 경과시간의 저장을 제어하는 DSP 칩;

   상기 DSP 칩과 연결되어, 녹화 모드시 비디오 데이터를 캡쳐하여 초당 일정 개의 프레임을 상기 DSP 칩에 전달하는 카메라부; 및

   상기 DSP 칩과 연결되어, 상기 모뎀칩으로부터 전달받은 오디오 데이터 및 오디오 경과시간을 저장하고, 비디오 데이터가 입력될 때마다 상기 경과시간을 비디오 경과시간으로 저장하는 메모리부를 구비하며,

   상기 모뎀칩은 상기 녹화재시작시 오디오 데이터와 같이 들어오는 비디오 데이터와, 녹화일시정지 명령 이전의 비디오 신호가 들어온 시간의 선후를 비교하는 경과시간계산부를 포함하는 것을 특징으로 하는 비디오 및 오디오 데이터 동기화 장치.
2. 제 1항에 있어서,

   상기 모뎀칩은 오디오 데이터 신호가 입력될 때마다 경과시간을 보정하고 경과시간을 증가시키는 타이머;를 더 포함하는 것을 특징으로 하는 비디오 및 오디오 데이터 동기화 장치.
3. 삭제
4. 제 1항에 있어서,

   상기 경과시간계산부는 상기 녹화재시작시 오디오 데이터와 같이 들어오는 비디오 데이터가, 녹화일시정지 명령 이전의 비디오 데이터가 들어온 시간보다 작을 경우, 경과시간을 0 으로 만드는 것을 특징으로 하는 비디오 및 오디오 데이터 동기화 장치.
5. 녹화일시정지후, 녹화재시작시 들어오는 첫번째 오디오 데이터 신호를 녹화시작 신호로 인식하여 타이머를 동작시키는 단계;

   상기 타이머를 동작시킨 킨 후, 상기 첫번째 오디오 데이터 신호가 버려지는 단계;

   상기 녹화재시작시 오디오 데이터 신호와 같이 들어오는 비디오 데이터 신호와, 녹화일시정지 명령 이전의 비디오 데이터 신호가 들어온 시간의 선후를 비교하는 단계;

   상기 비교결과, 상기 녹화재시작시 오디오 데이터 신호와 같이 들어오는 비디오 데이터 신호가 상기 이전의 비디오 데이터 신호가 들어온 시간보다 작을 경우, 경과시간을 0 으로 만드는 단계; 및

   상기 동작되는 타이머에 따라, 녹화가 수행되는 단계를 포함하는 것을 특징으로 하는 비디오 및 오디오 데이터 동기화 방법.
6. 제 5항에 있어서,

   상기 버려진 첫번째 오디오 데이터 신호는 동영상녹화파일에 포함되지 않는 것을 특징으로 하는 비디오 및 오디오 데이터 동기화 방법.

Images