KR20040059662A - 스트리밍 방식을 이용한 동영상메일 통신장치 및 방법 - Google Patents

Abstract

동영상메일서버에서 동영상메일을 휴대단말기에 전송하는 방법이, 동영상메일서버가 동영상메일을 미리 설정된 전송율로 전송하는 과정과, 휴대단말기가 수신되는 동영상메일을 버퍼링하며, 버퍼링된 데이터의 양이 일정크기 이상이 되면 동영상메일을 재생하고 수신되는 동영상메일을 버퍼링하는 과정과, 휴대단말기가 설정시간 간격으로 상기 버퍼링되는 데이터의 양에 따른 버퍼링정보를 생성한 후 동영상메일서버에 전송하는 과정과, 동영상메일서버가 휴대단말기의 버퍼링정보에 따라 전송율을 재설정하며, 재설정된 전송율에 따라 동영상메일을 편집한 후, 전송과정으로 되돌아가는 과정으로 이루어진다.

Description

스트리밍 방식을 이용한 동영상메일 통신장치 및 방법{DEVICE AND METHOD FOR COMMUNICATING MOVING PICTURE USING STREAMING}

본 발명은 동영상 메일을 통신하는 장치 및 방법에 관한 것으로, 특히 스트리밍 기법으로 동영상메일서버에서 휴대단말기에 동영상메일을 전송하는 장치 및 방법에 관한 것이다.

현재 휴대용 이동통신 단말기는 음성 통신 기능 이외에 고속의 데이터를 통신할 수 있는 구조로 변환하고 있다. 즉, IMT 2000 규격의 이동통신 망을 구현하면, 상기 휴대용 단말기를 이용하여 음성통신 이외에 고속의 데이터 통신을 구현할 수 있다. 상기 데이터 통신을 수행하는 휴대용 단말기에서 처리할 수 있는 데이터들은 영상 데이터를 포함할 수 있다.

현재 동영상 메일에 관하여 사업자 및 소비자의 욕구가 증대됨에 따라 상기와 같은 서비스를 구현하고 있으며, 또한 향후 크게 증가될 추세이다. 그러나 상기동영상 화면을 전송하는 경우, 데이터 량이 많아 영상 압축의 문제가 크게 대두되고 있으며, 휴대용 단말기를 이용하여 동영상 화면을 전송하거나 수신하는 경우에는 더욱 큰 문제가 된다. 현재 동영상 신호의 압축은 MPEG4(Moving Picture Expert Group 4) 방법을 사용하고 있다. 상기 MPEG4 방식은 동영상신호를 압축하는 경우 많은 데이터를 압축할 수 있으나 너무 높은 MIPS를 요구하고 있다. 따라서 ARM7을 기반으로 하는 휴대용 단말기에 적용하는 것이 매우 어렵다.

따라서 상기와 같은 동영상 압축 방법을 사용하는 경우, 소프트웨어만으로 처리가능하며 화면 갱신율이 높은 솔루션을 가질 수 없다. 현재 카메라를 내장하는 휴대용 단말기 또는 카메라 외장형의 휴대용 단말기들은 LCD(Liquid Crystal Display) 및 정지화면의 영상데이타를 압축하는 코덱을 가지고 있다. 상기 정지화면용 영상코덱은 JPEG 코덱이 될 수 있다. 그리고 상기와 같은 구성을 가지는 카메라 폰들은 IMT 2000과 같은 광대역 서비스가 제공되는 상황에서 점차 일반화될 것으로 보인다. 따라서 상기 휴대단말기는 JPEG 코덱을 통해 정지영상신호를 연속적으로 압축하여 세미 동영상신호를 생성하여 표시하거나 또는 네트워크를 통해 다른 휴대용 단말기 및 동영상메일 서버에 전송할 수 있을 것으로 예상된다. 또한 상기 휴대용 단말기는 네트워크를 통해 다른 단말기 또는 동영상메일서버로부터 전송되는 동영상신호를 수신하여 재생할 수도 있을 것으로 예상된다.

상기와 같은 동영상메일 또는 세미동영상메일을 통신할 때, 송신측과 수신측은 상기 동영상메일의 전송율을 미리 결정한다. 그리고 상기 송신측은 동영상메일을 약속된 전송율로 전송하고, 수신측은 이를 수신하게 된다. 그러나 상기와 같은전송방법은 송신측과 수신측의 채널 환경에 영향을 받게 되며, 따라서 수신되는 동영상신호의 끊김 현상을 야기하게 될 수 있다. 이런 경우 수신측은 재전송을 요구하게 되거나 또는 끊김이 발생된 동영상신호를 그대로 재생하게 된다.

따라서 본 발명의 목적은 이동통신 네트워크 시스템에서 동영상메일서버와 휴대단말기 간에 동영상메일을 통신할 수 있는 장치 및 방법을 제공함에 있다.

본 발명의 다른 목적은 이동통신 네트워크 시스템에서 스트리밍 기법을 이용하여 동영상메일서버가 휴대단말기에 동영상메일을 전송할 수 있는 장치 및 방법을 제공함에 있다.

본 발명의 또 다른 목적은 이동통신 네트워크 시스템에서 휴대단말기가 스트리밍 기법을 이용하여 동영상메일서버가 전송하는 동영상메일을 수신할 수 있는 장치 및 방법을 제공함에 있다.

본 발명의 또 다른 목적은 동영상메일서버가 휴대단말기에 동영상메일을 전송하며, 휴대단말기로부터 전송되는 수신상태정보에 따라 전송되는 동영상메일의 전송율을 가변할 수 있는 장치 및 방법을 제공함에 있다.

본 발명의 또 다른 목적은 휴대단말기가 동영상메일서버로부터 전송되는 동영상메일을 수신 및 재생하며, 수신되는 동영상메일의 전송율을 분석하여 상기 동영상메일서버가 전송율을 가변할 수 있도록 수신상태정보를 상기 동영상메일서버에 전송할 수 있는 장치 및 방법을 제공함에 있다.

도 1은 본 발명의 실시예에 따라 동영상 메일을 전송하기 위한 네트워크 구성을 도시하는 도면

도 2는 도 1에 도시된 동영상메일서버와 이동단말기 간의 통신절차를 설명하기 위한 도면

도 3a 및 도 3b는 본 발명의 실시예에 따른 동영상신호의 포맷의 일예를 도시하는 도면

도 4a - 도 4e는 본 발명의 실시예에 따라 동영상메일 전송하기 위한 패킷 포맷을 도시하는 도면

도 5는 본 발명의 실시예에 따라 동영상메일서버에서 동영상 메일을 전송하는 절차를 도시하는 도면

도 6은 동영상메일서버에서 전송되는 동영상메일의 전송율을 가변하는 예를 설명하기 위한 도면

도 7은 본 발명의 실시예에 따라 휴대단말기가 동영상메일을 수신하며, 수신되는 동영상메일의 상태 정보를 동영상메일서버에 전송하는 절차를 도시하는 흐름도

도 8은 상기 도 7에서 동영상메일의 수신상태메시지의 포맷을 도시하는 도면

도 9는 본 발명의 실시예에 따라 휴대단말기에서 동영상메일을 수신하여 재생하는 구성을 도시하는 도면

도 10은 도 9의 휴대단말기에서 수신되는 동영상메일의 패킷을 분해하여 재생하는 상세 구성을 도시하는 도면

이하 본 발명의 바람직한 실시예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.

하기 설명에서 동영상신호의 포맷, 전송 패킷 포맷, 영상압축방식, 동영상메일의 전송율 등과 같은 특정 상세들이 본 발명의 보다 전반적인 이해를 제공하기 위해 나타나 있다. 이들 특정 상세들 없이 또한 이들의 변형에 의해서도 본 발명이 용이하게 실시될 수 있다는 것은 이 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.

본 발명의 실시예에서 동영상신호는 상기 동영상 및 세미동영상신호를 포함하는 것으로 가정한다. 또한 본 발명의 실시예에 상기 동영상신호는 영상신호 이외에 다른 신호들이 합성될 수 있다. 본 발명의 실시예에서는 상기 동영상신호는 영상신호에 오디오신호가 합성될 수 있으며, 영상신호에 텍스트신호가 합성될 수 있고, 또한 영상신호에 오디오신호 및 텍스트신호가 합성될 수도 있다. 이하 설명되는 용어에서 동영상신호 및 동영상메일은 상기 동영상신호에 오디오신호가 합성된 합성 동영상신호로 가정하며, 또한 상기 동영상신호는 세미 동영상신호라고 가정하여 설명한다.

본 발명의 실시예에서 사용되는 동영상신호의 압축방식은 JPEG 압축방식을 사용한다고 가정한다. 그러나 다른 영상압축 방식을 사용하는 경우에도 동일하게적용할 수 있다. 본 발명의 실시예에서는 정지 영상신호의 압축방식인 JPEG 방식을 사용하여 수신되는 동영상신호를 소정시간 간격으로 압축하여 압축된 영상 데이터를 생성한다.

본 발명의 실시예에 따라 동영상신호를 처리하는 휴대단말기는 이동단말기로써, 휴대전화기로 가정하여 설명될 것이다. 그러나 본 발명의 실시예에 따른 휴대단말기는 상기 휴대 전화기 이외에 통신 기능을 수행할 수 있는 모든 이동단말기들을 포함할 수 있다.

도 1은 본 발명의 실시예에 따라 동영상메일을 전송할 수 있는 이동통신 시스템의 네트워크 구조를 도시하는 도면이다. 그리고 상기 이동통신 시스템의 네트워크는 CDMA 2000 시스템을 기반으로 할 수 있다. 하기 도 1의 설명에서 사용자 단말기는 휴대용 컴퓨터가 될 수 있다.

상기 도 1을 참조하면, 휴대단말기 120은 하나 또는 복수의 사용자 단말기들 110과 연결될 수 있다. 이러한 휴대단말기 120은 기지국 130과 CDMA 2000 표준에 따른 무선채널들을 연결하고 호 서비스를 제공받는다. 통상적으로 상기 기지국 130은 기지국 송수신기(Base Transceiver Subsystems: BTS)과 기지국 제어기(Base Station Controller: BSC)로 구성된다. 이동 교환국(Mobile Switching Center: MSC) 140은 상기 기지국 130을 도시되지 않은 경로를 통해 공중교환 전화네트워크(Public Switched Telephone Network: PSTN) 등의 다른 가입자 시스템으로 연결하여 휴대단말기 120에게 회선기반의 호 서비스를 제공한다. 상기 기지국들 130과 이동 교환국 140은 CDMA 2000 표준에 따른 무선통신 네트워크를 형성한다.

한편 기지국들 130은 패킷데이터 서비스노드(Packet Data Service Node: PDSN) 150을 통해 데이터 코어 네트워크, 즉 IP 네트워크 160에 연결된다. 여기서 상기 패킷데이터 서비스노드 150은 IP 네트워크 160과 다른 네트워크간을 상호 접속하는 게이트웨이로서, 특히 발전된 네트워크 구조에서 무선통신 네트워크에 접속되는 상기 패킷데이터 서비스노드 150은 이동 교환국 140을 포함할 수 있다.

상기 패킷데이터 서비스노드150은 CDMA 방식의 무선통신 네트워크를 통해 휴대단말기들 120a,120b에게 패킷 서비스를 제공한다. 상기 패킷데이터 서비스 노드150은 릴레이 모델의 휴대단말기 120인 경우 사용자 단말기 110과 PPP 링크를 설정하고 사용자 단말기110에 IP 주소를 할당하여 사용자 단말기의 인터넷 액세스를 가능하도록 할 수도 있다.

또한 IP 네트워크 160은 다수의 인터넷 서비스 제공자들과 노드들을 포함하는 다른 네트워크 170과 연결되며, 휴대단말기들 120a,120b에게 패킷 데이터 서비스를 제공한다. 이를 위하여 IP 네트워크 160은 다수의 네트워크 소자들, 즉 도메인이름 서버(Domain Name Server: DNS) 162, 인증 및 과금 서버(Authentification, Authorization and Accounting server: AAA server) 164, 홈 에이전트(Home Agent: HA) 166, 동영상메일서버(Moving Picture Mail Server) 180 등과 연결될 수 있다. 여기서 상기 동영상메일서버180은 동영상메일이 도착되면 상기 휴대단말기들 120에 이를 통보하고, 상기 휴대단말기들 120에 스트리밍 방법으로 동영상메일을 전송한다.

도 2는 본 발명의 실시예에 따라 상기 동영상메일서버170과 휴대단말기120 간의 동영상메일 통신 절차를 도시하는 도면이다.

상기 도 2를 참조하면, 상기 동영상메일서버180이 휴대단말기120에 전송할 동영상메일이 발생되면, 상기 동영상메일서버180은 311단계에서 상기 동영상메일의 도착알림 메시지를 생성하여 상기 휴대단말기120에 전송한다. 그리고 상기 동영상메일의 도착알림메세지를 수신하는 휴대단말기120은 313단계에서 이에 대한 응답으로 수신요구메세지를 생성하여 상기 동영상메일서버180에 전송한다. 그러면 상기 동영상메일서버180은 상기 수신요구메세지 수신시 상기 동영상메일을 설정된 전송율로 전송하기 시작한다.

이때 상기 휴대단말기120은 상기 동영상메일을 수신하여 이를 실시간으로 표시하기 위한 최소한의 버퍼 공간을 구비하여야 한다. 예를들어 상기 동영상메일서버가 동영상메일의 규격을 초당 5프레임의 영상신호와 오디오신호를 전송하는 경우, 상기 휴대단말기120은 5초 이상의 동영상메일을 버퍼링할 수 있는 버퍼를 구비하여야 한다. 그리고 상기 휴대단말기120은 상기 버퍼가 완전히 채워지면(buffer full), 상기 버퍼에 저장된 동영상을 억세스하여 재생하는 동작 및 상기 동영상메일서버180에서 전송되는 동영상메일을 수신하여 저장하는 동작을 동시에 수행한다.

상기와 같이 동영상메일의 재생 및 수신 동작을 수행하는 상태에서, 상기 휴대단말기120은 일정시간 간격으로 버퍼에 누적된 데이터의 양(buffering depth)을 검사하며, 상기 검사 결과에 따라 통신망의 상태를 결정한 후 이를 동영상메일서버180에 전송한다. 즉, 상기 휴대단말기120은 일정시간 간격으로 319단계를 수행하면서 통신망의 상태를 나타내는 수신 상태 메시지를 생성하여 상기 동영상메일서버180에 전송한다. 그리고 상기 동영상메일서버180은 상기 수신 상태메세지에 따라 315단계에서 통신망의 현재 환경에 따라 동영상메일의 전송율을 가변시켜 전송한다. 이때 상기 전송율을 가변시키는 방법은 영상프레임들을 데시메이션(decimation)하거나, 또는 영상프레임의 크기를 축소 또는 화소수를 축소(cropping)하여 전송할 수 있다.

상기한 바와 같이 본 발명의 실시예에서는 상기 동영상메일서버180은 상기 휴대단말기120에 동영상 메일을 스트리밍 방식으로 전송하며, 상기 휴대단말기120에서 일정 시간 간격으로 전송되는 수신상태정보에 따라 미리 설정된 방법으로 전송되는 데이터의 양을 조절한다. 이는 휴대단말기120에서 재생되는 동영상신호의 끊김 현상을 보상하기 위함이다. 또한 상기 휴대단말기120은 상기 동영상메일서버180에서 전송되는 동영상메일을 실시간으로 재생하여야 하므로, 수신되는 동영상 메일의 양이 일정크기 이상 동영상 메일이 수신되면 수신된 동영상메일을 재생하는 동작 및 상기 동영상메일서버180에서 전송되는 동영상메일을 수신하는 동작을 동시에 수행한다. 따라서 상기 전송되는 동영상 메일의 패킷은 TCP 대신에 UDP를 사용하여야 한다. 그러나 상기 UDP를 사용하면 네트워크 상태에 따라 패킷 손실(packet loss)가 발생하고, 이는 JPEG 데이터로 구성된 동영상신호인 경우에는 치명적이 될 수 있다. 따라서 본 발명의 실시예에서는 TCP 방식을 이용하여 패킷손실을 최소화하고자 한다.

본 발명의 실시예에 따른 상기 동영상메일은 도 3a에 도시된 바와 같이 정지영상데이타(JPEG1, JPEG2, ...)가 연속적으로 이어지며, 상기 정지영상신호 JPEG1, JPEG2, ... 사이에 오디오신호가 인터레이스(interlace)되는 형태로 삽입되었다고 가정한다. 즉, 본건출원의 동영상메일은 상기한 바와 같이 세미 동영상신호로써, 정지영상신호 사이에 영상에 따른 오디오신호가 삽입되는 구조를 가진다고 가정한다. 그리고 상기 정지영상신호는 1프레임의 영상화면신호로써, 상기 각 정지영상신호는 해당 프레임의 크기를 나타내는 L 및 영상임을 나타내는 패턴신호 P로 이루어진 이미지헤더가 삽입될 수 있다. 이런 경우, 상기 동영상메일은 상기 이미지헤더, JPEG 부호화된 영상신호 및 상기 오디오신호가 합성된 구조를 가질 수 있다.

그리고 상기와 같은 동영상메일을 전송할 때, 상기 동영상메일서버180은 상기 동영상메일을 전송패킷으로 조립하여 전송하여야 한다.

그리고 도 4a - 도 4e는 합성 동영상을 전송하기 위한 패킷 데이터 구조를 도시하는 도면이다.

상기 도 4a는 상기 동영상메일서버180에서 전송되는 패킷 구조를 도시하고 있다. 상기 전송 패킷의 전체 크기(N)는 필요에 따라 결정될 수 있으며, 대략 200~1500 bytes 정도로 설정될 수 있을 것이다. 이때 전송되는 패킷 크기는 매 패킷마다 일정해야 한다. 상기 패킷의 구조를 살펴보면, 우선 44 바이트의 TCP/IP 헤더가 연결되고, 7 비트의 시퀀스번호(sequence number)가 연결될 수 있다. 상기 시퀀스번호는 생성되는 패킷의 순서를 나타내는 것으로, 0~127번까지 표시한 후, 다시 0번부터 삽입된다. 그리고 상기 시퀀스번호 뒤에 위치되는 A/V 1 비트는 해당하는 패킷의 첫부분의 데이터가 오디오 데이터 또는 JPEG 영상데이타인지를 표시하는값이다.

도 4b 및 도 4c는 JPEG 영상(image data format)의 패킷을 도시하고 있다. 상기 JEPG 영상의 경우 일반적으로 한 프레임(frame)의 크기가 5~10 킬로바이트(kbytes) 정도이므로, 하나의 전송패킷 보다 더 큰 데이터양을 가진다. 따라서 한 프레임의 JPEG 영상 데이터는 여러 개의 전송 패킷들로 전송하여야 한다. 이때 프레임 영상신호의 첫 번째 패킷은 도 4b와 같이 이미지 헤더(image header) P 및 L을 부가한다. 상기 도 4b에서는 P는 패턴신호(pattern signal)로서, 패킷 데이터를 수신하는 수신기에서 오디오 데이터와 JPEG 영상데이타를 구분하기 위해 필요한 값으로, 이는 이미지헤더 정보가 된다. 상기 도 4b에 L은 JPEG 프레임(image frame)의 전체 크기를 나타내는 값이다. 상기 도 4b와 같은 전송패킷은 휴대단말기120이 상기 패턴신호(pattern signal) P에 의해 JPEG 영상으로 판단한 후, 상기 L 길이만큼을 JPEG 영상을 읽도록 하기 위함이다. 그러면 상기 상기 휴대단말기는 패킷들에서 L 길이만큼 수신되는 데이타들을 계속 버퍼링(buffering)하고 있다가, 상기 L 길이만큼의 데이터가 수신되면 상기 수신된 데이터를 JPEG 영상을 복원하는 영상코덱80에 인가하여 재생하도록 한다. 상기 도 4c 는 전송하고자 하는 1프레임의 JPEG 영상에서 첫 번째 패킷을 전송한 후 이어지는 나머지 패킷들의 형태로써, 이미지 헤더 없이 전체가 JPEG 영상데이타로 채워진다.

도 4d는 오디오 신호의 패킷 구조를 도시하고 있다. 본 발명의 실시예에서는 상기 오디오 코덱85가 8 kbps speech codec이라고 가정한다. 상기 오디오 코덱85가 8 kbps speech codec인 경우, 상기 부호화되는 오디오 데이터는 매 20 msec마다 1프레임(frame: 20 bytes)의 오디오 데이터가 생성된다. 이때 하나의 패킷으로 조립할 수 있는 데이터의 최대 크기인 N-45 bytes가 될 때까지 연속적으로 부호화된 오디오 프레임 데이터들을 연결하여 오디오 패킷을 생성한다. 예를 들어, N이 200일 경우, 17 프레임과 3/4 프레임(15 bytes)의 오디오 데이터들을 묶어서 하나의 패킷을 생성하게 된다. 그러나 일반적으로 오디오 프레임들 사이에 JPEG 영상이 입력되므로, 도 4e와 같이 오디오 및 JPEG 영상이 혼합되는 구조를 가지게 된다.

도 5는 본 발명의 실시예에 따라 동영상메일서버180에서 상기 동영상메일을 전송하는 절차를 도시하는 흐름도이고, 도 6은 동영상메일서버에서 전송되는 동영상메일의 전송율을 가변하는 예를 설명하기 위한 도면이다.

그리고 도 7은 본 발명의 실시예에 따라 휴대단말기가 동영상메일을 수신하며, 수신되는 동영상메일의 상태 정보를 동영상메일서버에 전송하는 절차를 도시하는 흐름도이고, 도 8은 상기 도 7에서 동영상메일의 수신상태메시지의 포맷을 도시하는 도면이다.

상기 도 5 - 도 8을 참조하여 본 발명의 실시예에 따른 동영상메일서버180의 동영상메일 전송 및 휴대단말기120의 동영상메일 수신 동작을 살펴본다.

먼저 휴대단말기120에 전송할 동영상메일이 발생되면, 상기 동영상메일서버180은 도 5의 411단계에서 휴대단말기120에 동영상메일 도착을 알리는 메시지를 전송한다. 그리고 상기 동영상메일서버180은 413단계에서 휴대단말기120의 수신요구메세지가 수신되는가 검사한다. 이때 상기 수신요구메세지가 수신되지 않으면, 431단계로 진행하여 설정시간 동안 대기하며, 설정시간이경과하도록 상기 수신요구메세지가 수신되지 않으면 433단계에서 대기메세지로 저장한 후 종료한다. 즉, 상기 동영상메일서버180은 동영상메일의 도착을 통보한 후 설정시간 동안 해당 휴대단말기로부터의 수신요구메세지 수신을 대기하며, 설정된 시간 내에 수신요구메세지가 수신되지 않으면 433단계로 진행하여 대기메세지로 등록하고 종료한다. 이후 상기 동영상메일서버는 일정 시간이 경과한 후 상기 대기메세지를 분석하여 상기와 같은 동작을 반복 수행할 수 있다. 그러나 설정된 시간 내에 수신요구메세지가 수신되면, 415단계로 진행한다.

이때 상기 동영상메일도착통보 메시지를 수신되면, 상기 휴대단말기120은 도 7의 511단계에서 이를 인지하고, 513단계에서 동영상메일 도착을 표시한다. 그리고 사용자에 의해 동영상메일 수신요구 명령이 발생되면, 상기 휴대단말기120은 515단계에서 이를 감지하고 517단계에서 상기 동영상메일서버180에 동영상메일의 수신요구메세지를 생성하여 전송한다. 그리고 상기 휴대단말기120은 동영상메일의 수신을 대기한다. 그러나 상기 515단계에서 휴대단말기의 사용자가 수신요구를 발생하지 않으면, 541단계로 진행하여 설정시간 동안 대기한다. 이때 상기 설정시간 동안 수신요구가 발생되지 않으면 상기 휴대단말기120은 543단계에서 상기 동영상메일 도착메세지를 수신메세지로 저장하고 종료한다. 상기와 같은 상태에서 사용자가 수신 메시지를 확인한 후 수신요구 메시지를 발생하면, 이후의 동작을 수행하면서 상기 동영상메일의 수신 동작을 수행한다.

상기 수신요구메세지를 수신하는 동영상메일서버180은 도 5의 411단계에서 상기 휴대단말기120에 설정된 전송율로 동영상메일을 전송하기 시작한다. 그리고상기와 같은 동작은 상기 휴대단말기120로부터 수신상태메세지를 수신하기 전까지 설정된 전송율로 동영상메일의 전송을 계속한다.

그러면 상기 휴대단말기120은 도 7의 519단계에서 상기 동영상메일의 수신을 감지하고, 521단계에서 상기 수신되는 동영상메일을 버퍼에 저장한다. 이때 상기 버퍼는 소정시간 이상 재생할 수 있는 양을 버퍼링할 수 있는 크기를 갖아야 한다. 본 발명의 실시예에서는 5프레임/초의 전송율을 가지며, 상기 휴대단말기의 버퍼는 5초 이상 동영상메일을 재생할 수 있는 크기로 구성되었다고 가정한다. 이때 상기 1프레임의 영상신호 및 이에 따른 오디오신호의 크기가 5Kbyte라고 가정하면, 상기 버퍼는 125Kbyte 이상의 크기를 가져야한다. 본 발명의 실시예에서는 상기 버퍼가 125Kbyte 보다 큰 크기를 갖는다고 가정한다.

상기 휴대단말기120은 521단계에서 수신되는 동영상메일을 버퍼에 누적 저장하며, 상기 버퍼에 저장된 동영상메일이 설정된 크기(즉, 125Kbyte)가 되면, 상기 휴대단말기120은 523단계에서 이를 인지하고, 525단계에서 상기 버퍼에 저장된 동영상메일을 억세스하여 표시부에 표시하기 시작하며, 상기 동영상메일서버180에 전송되는 동영상메일을 상기 버퍼에 저장하는 동작을 수행한다.

또한 상기 휴대단말기120은 설정된 시간 단위로 상기 버퍼에 누적된 버퍼의 데이터량을 검사하여 통신망의 상태에 따른 메시지를 생성한다. 즉, 상기 휴대단말기120은 설정시간이 되면 527단계에서 이를 감지하고, 529단계에서 상기 버퍼에 누적된 데이터량을 검사하여 수신상태메세지를 생성하며, 상기 생성된 메시지를 상기 동영상메일서버180에 전송한다. 상기 수신상태메세지는 도 8과 같이 포맷을 가진다. 상기 수신상태메세지의 포맷은 TCP/IP헤더(TCP/IP header), 수신 시퀀스번호(received squence number), 누적된 패킷손실값(cumulative numbers of packet lost) 및 버퍼링정보(buffer depth bit) 등이 포함된다. 여기서 상기 버퍼링 정보는 상기 버퍼에 누적된 데이터의 양을 나타내는 정보 의미하며, 이는 하기 <표 1>과 같이 결정할 수 있다. 하기 <표 1>에서 x의 범위는 서비스 개시 이전에 통신망의 특성을 파악한 후, 사업자의 요구에 따라 가변할 수 있다. 그리고 상기와 같은 버퍼링정보는 동영상메일서버180에서 동영상메일의 전송율을 결정하기 위한 정보로 사용되며, 상기 도 8과 같은 수신상태메세지에 포함되어 상기 동영상메일서버에 전송된다.

버퍼에 누적된 데이터 양(x: kbyte)	buffering depth(bit)
125 ≤x	0110
100 ≤x < 125	0101
75 ≤x < 100	0100
50 ≤x < 75	0011
25 ≤x < 50	0010
10 ≤x < 25	0001
x < 10	0000

상기 휴대단말기120에서 상기 도 8과 같은 수신상태메세지가 전송되면, 상기 동영상메일서버180은 도 5의 419단계에서 상기 수신상태메세지의 수신을 감지하고, 421단계에서 상기 수신상태에메세지에 포함된 버퍼링정보를 분석하여 전송율 변경 여부를 판단한다. 이때 상기 버퍼링정보의 변화가 없으면, 상기 동영상메일서버180은 423단계에서 이를 인지하고 상기 415단계로 되돌아가 이전의 전송율로 상기 동영상메일을 전송한다. 그러나 상기 423단계에서 상기 버퍼링정보의 값이 변경되었음을 감지하면, 상기 동영상메일서버180은 425단계에서 전송율할당테이블에 의해 전송율을 재설정한 후, 427단계에서 재설정된 전송율에 따라 동영상메일을 편집한 후 동영상메일을 전송한다.

buffering depth(bit)	전송율(frame/sec)
0110	max
0101	5
0100	4
0011	3
0010	2
0001	1
0000	0

상기 <표 2>는 상기 전송율변경 테이블의 일예를 나타내고 있다. 상기 동영상메일서버180은 상기 <표 2>와 같은 전송율 변경테이블을 구비하여 상기 초당 영상 프레임의 전송율을 재조정할 수 있다. 하기 <표 2>는 정상적인 통신환경에서 5프레임/초인 경우를 가정하였으며, 이때의 버퍼링정보는 "0110"이라고 가정하고 있다. 이때 상기 수신상태메세지의 버퍼링정보가 "0011"로 수신되면, 현재부터 전송되는 초당 프레임의 전송을 3개로 재설정한다. 이때 동영상메일에 포함된 오디오신호는 모두 전송될 수 있도록 편집한다. 도 6은 상기한 바와 같이 전송율 재설정에 따라 편집되어 전송되는 동영상메일의 예를 도시하고 있다.

상기와 같은 동작은 휴대단말기120에서 설정된 시간 마다 반복적으로 버퍼의 누적값을 검사하여 상기 도 8과 같은 수신상태메세지를 전송하며, 동영상메일서버180은 상기 수신상태메세지에 따라 도 6과 같은 형태로 전송되는 동영상메일의 전송율을 조정하여 전송한다.

상기와 같은 동작은 상기 동영상메일서버180에서 동영상메일의 종료를 종료할 때 까지 반복 수행된다.

본 발명의 실시예에서는 상기 도 6에 도시된 바와 같이 영상프레임을 데시메이션하여 전송하는 예를 가정하고 있다. 즉, 동영상메일은 실시간으로 재생되어야 하므로 전송율을 가변하는 경우 전송시간은 고정시키고 상기 전송시간에 전송되는 동영상메일의 정보를 가변시켜야 한다. 상기 동영상메일의 정보를 가변하는 방법은 상기 도 6과 같이 영상프레임을 건너뛰면서 전송하는 방법(decimation)과, 영상프레임의 크기(size)를 줄여 전송하는 방법, 그리고 영상프레임의 화소수를 줄여 전송하는 방법 등이 있을 수 있다.

또한 본 발명의 실시예에서는 채널 환경에 따라 전송율이 저하되는 경우를 가정하여 설명하고 있지만, 채널 환경이 양호해져 더 높은 전송율로 동영상메일을 전송하는 경우에 상기 동영상메일서버는 동영상메일의 전송율을 변경하지 않고 현재의 전송율을 그대로 유지하는 것으로 가정한다. 그러나 전송율이 양호해지는 경우, 동영상메일서버는 상기 동영상메일을 반복하여 전송할 수도 있다.

상기와 같은 동영상메일의 통신 절차를 휴대단말기120을 중심으로 하여 살펴본다.

도 9는 본 발명의 실시예에 따라 실시예에 따라 카메라 및 영상코덱을 구비하는 휴대단말기에서 상기 동영상메일을 수신하여 재생하는 동작을 설명하기 위한 도면이다. 상기 동영상메일을 수신하는 방법은 상기 동영상메일서버180으로부터 수신되는 동영상메일이 상기 메모리30에 저장하거나, 실시간으로 표시할 수 있다. 상기 메모리30는 본 발명의 실시예에 따라 상기 동영상메일을 버퍼링하기 위한 버퍼35를 구비한다.

먼저 수신되는 동영상메일을 상기 버퍼35에 버퍼링하는 동작을 살펴본다. RF부23은 수신되는 동영상메일의 무선신호를 기저 대역의 신호로 변환하고, 데이터처리부20은 상기 수신되는 동영상메일을 채널복조 및 복호하여 제어부10에 전송한다. 그러면 상기 제어부10은 상기 수신되는 동영상메일을 메모리30에 할당된 버퍼35에 저장한다. 이후 상기 버퍼35에 누적된 데이터 량이 설정된 크기를 초과하면 상기 제어부10은 상기 버퍼35에 저장된 동영상메일을 억세스하며, 상기 억세스된 동영상메일에서 오디오 및 JPEG 영상을 분리한 후, 상기 JPEG 영상은 영상코덱80에 전송하고 오디오신호는 오디오코덱85에 전송한다. 그러면 상기 영상코덱85는 JPEG 압축된 영상신호를 원래의 신호로 복원하며, 영상처리부50은 상기 복원된 영상신호를 상기 표시부60의 크기로 조정하여 표시부60에 출력한다. 따라서 상기 휴대단말기120의 표시부60은 상기 수신된 동영상메일의 영상을 표시하게 된다. 또한 상기 오디오코덱85에서 복호되는 오디오신호는 스피커로 인가되어 재생된다.

이때 상기 제어부30은 설정시간 마다 상기 버퍼35에 누적된 데이터량을 검사하여 상기 버퍼링정보를 결정한 후, 이를 포함하는 수신상태 메시지를 생성하여 동영상메일서버180에 전송하며, 이후 전송율이 재조정된 동영상메일을 수신하여 상기와 같은 동작을 반복 수행한다.

도 10은 휴대단말기에서 동영상메일의 패킷을 수신하여 재생하는 구성을 도시하는 도면이다. 상기 도 10의 구성에서 패킷분해기255, 헤더분석기250,스위치261, 263, 265, 버퍼부270은 제어부10의 구성이 될 수 있다.

상기 도 10의 구성을 살펴보면, 상기 동영상메일서버180에서 전송되는 패킷 데이터는 RF부23 및 데이터처리부20을 통해 처리된 후 패킷분해기255에 수신된다. 이때 수신되는 패킷들은 상기 도 4a-도 4e와 같은 구조를 가진다. 그러면 상기 패킷분해기255는 수신되는 패킷에서 TCP/IP헤더를 제거한다. 이때 상기 패킷분해기255는 상기 패킷의 시퀀스번호에 따라 송신시 전송된 순서대로 패킷들을 처리할 수 있으며, 또한 A/V비트에 의해 오디오 패킷인지 아니면 JPEG 영상 패킷인지를 구분할 수 있다. 따라서 상기 패킷분해기255는 상기 수신되는 패킷들을 도 3a와 같은 형태로 분해할 수 있다.

그러면 상기 메모리30의 버퍼25는 상기 패킷분해기255에서 출력되는 도 3b와 같은 동영상메일을 저장한다. 이때 상기 버퍼35에 설정된 크기 이상의 동영상메일이 저장되면, 상기 제어부10은 상기 버퍼35를 제어하여 상기 동영상메일들을 출력하며, 이때 헤더분석기250은 상기 버퍼35에서 출력되는 동영상메일들은 분석하여 JPEG 영상 및 오디오를 분리하기 위한 스위치 제어신호를 발생한다. 이때 스위치261은 공통단자가 상기 메모리30에 연결되고 제1출력단자가 오디오신호를 스위칭 출력하는 스위치263의 공통단자에 연결되며, 제2출력단자가 이미지버퍼272에 연결된다. 상기 버퍼부270의 이미지버퍼(Img_Buf)272는 상기 스위치261에서 출력되는 JPEG 영상신호를 버퍼링한다. 제1 및 제2오디오버퍼(Aud_Buf) 224 및 226은 각각 부호화된 오디오 데이터를 버퍼링한다. 스위치263은 공통단자가 상기 스위치261의 제1출력단자에 연결되며, 제1출력단자가 제1오디오버퍼224의 입력단에 연결되고제2출력단자가 제2오디오버퍼226의 출력단에 연결된다. 또한 스위치265는 제1입력단자가 상기 제1오디오버퍼224의 출력단에 연결되고 제2입력단자가 상기 제2오디오버퍼226의 출력단에 연결되며, 공통단자가 오디오코덱85에 연결된다. 상기 스위치211 및 213은 상기 이미지버퍼220의 출력에 의해 제어된다. 따라서 상기 버퍼부20은 상기 메모리30의 버퍼에서 출력되는 동영상메일의 오디오와 JPEG 영상을 분리하여 출력한다. 그러면 오디오코덱85는 상기 스위치265에서 출력되는 부호화된 오디오신호를 복원(decoding)하여 출력한다. 영상코덱80은 상기 이미지버퍼272에서 출력되는 JPEG 영상데이타를 복원(decoding)하여 출력한다.

상기 도 10의 동작을 살펴보면, 상기 수신되는 패킷은 패킷분해기255에서 TCP/IP 헤더가 제거되어 메모리30의 버퍼35에 저장되고, 상기 버퍼35에 일정 크기 이상의 동영상메일이 저장되면 상기 제어부10은 상기 버퍼35에 저장된 동영상메일을 억세스하여 출력한다. 그러면 상기 헤더분석기250은 상기 버퍼35에서 출력되는 동영상메일을 분리하기 위한 스위치제어신호를 발생한다. 또한 상기 동영상메일서버180에서 연속 전송되는 동영상메일은 다시 패킷분해기255에 의해 TCP/IP 헤더가 제거되면서 상기 버퍼35에 저장하는 동작을 동작을 동시에 수행한다.

이때 상기 헤더분석기250에서 동영상메일의 JPEG 영상 및 오디오신호를 분리하는 동작은 하기와 같다.

첫 번째 단계에서는 수신된 패킷들 중에서 최초 패킷(20 bytes)을 읽어오며, 두 번째 단계에서 상기 20 바이트들 중에서 앞 부분의 2 바이트를 0xFFFF로 마스킹(masking)한다. 그리고 세 번째 단계에서 상기 마스킹한 값이 0x0000이면 하기의 네 번째 단계로 진행하고, 그 이외의 값이면 하기의 10번째 단계로 진행한다.

상기 네 번째 단계로 진행되면, 현재의 패킷을 JPEG 영상 데이터로 판단하고, 헤더분석기250은 스위치(A/V switch)261을 (??)의 위치로 옮긴다. 그리고 다섯 번째 단계에서는 상기 20 바이트들 중에서 JPEG 영상데이타의 전체 크기를 나타내는 L 값을 가지고 있는 다음의 2 바이트들을 읽어 들이고, 여섯 번째 단계에서 상기 스위치(Speech input switch)263을 (??)의 위치로 옮긴다. 이후 일곱 번째 단계에서 입력되는 데이터의 크기를 계속 계수(counting)하면서 상기 다섯 번째 단계에서 구해진 전체 크기만큼 입력되는 데이터를 계속해서 이미지버퍼(Img_Buf)272에 저장한다. 이후 여덟 번째 단계에서는 상기 일곱 번째 단계에서 계수(counting)된 값이 상기 다섯 번째 단계에서 구해진 전체 크기와 동일해지면, 상기 스위치261을 (??) 위치로 옮긴다. 그리고 아홉 번째 단계에서는 입력되는 데이터를 20바이트 단위로 읽어 들여 위의 두 번째 단계로 되돌아간다.

상기 열 번째 단계에서는 수신되는 오디오 데이터를 제1오디오버퍼(Aud_Buf1)274에 저장한다. 그리고 열한번째 단계에서는 상기 이미지버퍼270에 저장된 JPEG 영상데이타를 영상코덱80에 전송하고, 스위치(speech output switch)265를 (??) 위치로 옮겨, 상기 제1오디오버퍼274에 저장된 오디오데이타를 오디오코덱85에 전송한다.

이후 열두번째 단계에서는 상기 영상코덱80이 아직 처리하지 않은 JPEG 영상데이타가 있을 경우, 처리능력이 없는 것으로 간주하여 새로 들어온 JPEG 영상데이타를 버리게 하며, 열세번째 단계에서는 상기 아홉 번째 단계로 되돌아가서 계속수행한다. 이때 상기 스위치263 및 265는 이전 상태의 반대 위치로 이동시킨다.

이때 상기 제어부10은 일정시간 간격으로 상기 버퍼35에 누적된 동영상메일의 크기를 검사하여 버퍼량정보를 결정하며, 상기 결정된 버퍼량 정보를 포함하는 상기 도 8과 같은 수신상태메세지를 생성하여 동영상메일서버180에 전송한다. 그러면 상기 동영상메일서버180은 상기 수신상태메세지의 버퍼량정보를 확인하여 통신망의 상태를 판단하고 이에 따라 전송율을 변경하여 동영상메일을 전송하게 된다.

상기한 바와 같이 본 발명의 실시예는 상기 동영상메일서버가 휴대단말기에 동영상 메일을 스트리밍 방식으로 전송하며, 휴대단말기에서 일정 시간 간격으로 전송되는 수신상태정보에 따라 미리 설정된 방법으로 전송되는 데이터의 양을 조절하므로써, 휴대단말기에서 재생되는 동영상신호의 끊김 현상을 보상할 수 있는 효과가 있다.

Claims (11)

1. 동영상메일서버가 동영상메일을 휴대단말기에 전송하는 방법에 있어서,

   상기 동영상메일서버가 동영상메일을 도착시 이를 대응되는 휴대단말기에 통보하는 과정과,

   상기 휴대단말기에서 전송요구시 상기 동영상메일을 미리 설정된 전송율로 전송하는 과정과,

   상기 휴대단말기에서 피드백되는 상기 동영상메일의 버퍼링정보를 검사하며, 상기 버퍼링정보의 변화에 따라 상기 전송율을 재설정하고, 재설정된 전송율에 따라 상기 동영상메일을 편집한 후, 상기 전송과정으로 되돌아가는 과정으로 이루어짐을 특징으로 하는 상기 방법.
2. 제1항에 있어서, 전송율을 재설정하는 과정은 상기 동영상메일서버가 상기 버퍼링정보에 대응되는 전송율할당테이블을 구비하며, 상기 휴대단말기에서 전송되는 상기 버퍼링정보에 따른 전송율을 상기 테이블에서 확인하여 설정함을 특징으로 하는 상기 방법.
3. 제2항에 있어서, 재설정된 전송율에 따라 동영상메일을 편집하는 과정이 상기 재설정된 전송율에 따라 영상프레임의 크기를 감축하여 실시간 영상 재생이 가능하도록 편집함을 특징으로 하는 상기 방법.
4. 휴대단말기가 동영상메일서버에서 전송되는 동영상메일을 수신하는 방법에 있어서,

   상기 동영상메일서버에서 동영상메일의 도착통보시 전송을 요구하는 과정과,

   상기 동영상메일서버에서 전송되는 동영상메일을 수신하여 버퍼에 저장하며, 상기 버퍼에 누적된 데이터의 양이 일정크기 이상이 되면 상기 동영상메일을 재생하고 상기 수신되는 동영상메일을 버퍼링하는 과정과,

   상기 휴대단말기가 설정시간 간격으로 상기 버퍼에 누적된 데이터의 양에 따른 버퍼링정보를 생성한 후, 상기 동영상메일서버에 전송하는 과정과,

   상기 동영상메일서버에서 상기 버퍼링정보에 따라 재설정된 전송율에 따라 전송되는 동영상메일을 수신하여 상기 버퍼에 저장 및 상기 동영상메일 재생하는 상기 동작을 반복 수행하는 과정으로 이루어짐을 특징으로 하는 상기 방법.
5. 제4항에 있어서, 상기 버퍼링정보를 생성하는 과정이,

   설정된 시간에서 상기 버퍼에 누적된 데이터의 양을 검사하는 과정과,

   상기 버퍼의 누적데이타 양에 따른 버퍼링정보를 결정하여 상기 동영상메일서버에 전송하는 과정으로 이루어짐을 특징으로 하는 상기 방법.
6. 동영상메일서버에서 영상 및 오디오신호가 합성된 동영상메일을 휴대단말기에 전송하는 방법에 있어서,

   상기 동영상메일서버가 상기 동영상메일을 미리 설정된 전송율로 전송하는 과정과,

   상기 휴대단말기가 수신되는 동영상메일을 버퍼링하며, 상기 버퍼링된 데이터의 양이 일정크기 이상이 되면 상기 동영상메일을 재생하고 상기 수신되는 동영상메일을 버퍼링하는 과정과,

   상기 휴대단말기가 설정시간 간격으로 상기 버퍼링되는 데이터의 양에 따른 버퍼링정보를 생성한 후 상기 동영상메일서버에 전송하는 과정과,

   상기 동영상메일서버가 상기 휴대단말기의 버퍼링정보에 따라 전송율을 재설정하며, 상기 재설정된 전송율에 따라 동영상메일을 편집한 후, 상기 전송과정으로 되돌아가는 과정으로 이루어짐을 특징으로 하는 상기 방법.
7. 제6항에 있어서, 상기 휴대단말기가 버퍼링정보를 생성하는 과정이,

   설정된 시간에서 상기 버퍼에 누적된 데이터의 양을 검사하는 과정과,

   상기 버퍼의 누적데이타 양에 따른 버퍼링정보를 결정하여 상기 동영상메일서버에 전송하는 과정으로 이루어짐을 특징으로 하는 상기 방법.
8. 제6항에 있어서, 전송율을 재설정하는 과정은 상기 동영상메일서버가 상기 버퍼링정보에 대응되는 전송율할당테이블을 구비하며, 상기 휴대단말기에서 전송되는 상기 버퍼링정보에 따른 전송율을 상기 테이블에서 확인하여 설정함을 특징으로 하는 상기 방법.
9. 제8항에 있어서, 재설정된 전송율에 따라 동영상메일을 편집하는 과정이 상기 재설정된 전송율에 따라 영상프레임을 데시메이션하여 실시간 영상 재생이 가능하도록 편집함을 특징으로 하는 상기 방법.
10. 휴대단말기가 동영상메일서버에서 전송되는 동영상메일을 수신하는 장치에 있어서,

    수신되는 동영상메일의 패킷들에서 패킷헤더를 제거하며 패킷을 분해하는 패킷분해기와,

    상기 패킷분해된 동영상메일을 버퍼링하는 버퍼와,

    상기 버퍼에 누적된 데이터의 양이 일정크기 이상이 되면 상기 동영상메일을출력하는 동작 및 상기 수신되는 동영상메일을 버퍼링하는 동작을 제어하며, 설정시간 간격으로 상기 버퍼에 누적된 데이터의 양에 따른 버퍼링정보를 생성한 후, 상기 동영상메일서버에 전송하는 제어부와,

    상기 버퍼에서 출력되는 동영상신호를 복원하는 영상코덱과,

    상기 영상코덱에서 출력되는 동영상신호를 표시하는 표시부로 구성된 것을 특징으로 하는 상기 장치.
11. 동영상메일이 영상 및 오디오가 인터레이스되어 합성된 신호이며, 휴대단말기가 동영상메일서버에서 전송되는 상기 동영상메일을 수신하는 장치에 있어서,

    수신되는 동영상메일의 패킷들에서 패킷헤더를 제거하며 패킷을 분해하는 패킷분해기와,

    상기 패킷분해된 동영상메일을 버퍼링하는 버퍼와,

    상기 버퍼에 누적된 데이터의 양이 일정크기 이상이 되면 상기 동영상메일을 출력하는 동작 및 상기 수신되는 동영상메일을 버퍼링하는 동작을 wpj하며, 설정시간 간격으로 상기 버퍼에 누적된 데이터의 양에 따른 버퍼링정보를 생성한 후, 상기 동영상메일서버에 전송하는 제어부와,

    상기 버퍼에서 출력되는 동영상메일의 헤더를 분석하여 상기 영상 및 오디오를 분리하기 위한 제어신호를 발생하는 헤더분석기와,

    상기 영상 및 오디오분리 제어신호에 의해 상기 동영상메일에서 영상 및 오디오를 분리하여 출력하는 분리기와,

    상기 분리된 영상신호를 복원하는 영상코덱과,

    상기 영상코덱에서 출력되는 동영상신호를 표시하는 표시부와,

    상기 분리된 오디오신호를 복원하는 오디오코덱으로 구성된 것을 특징으로 하는 상기 장치.