KR100621313B1

KR100621313B1 - 데이터 버퍼링 장치 및 방법

Info

Publication number: KR100621313B1
Application number: KR1020050014391A
Authority: KR
Inventors: 임미경
Original assignee: 엘지전자 주식회사
Priority date: 2005-02-22
Filing date: 2005-02-22
Publication date: 2006-09-13
Also published as: KR20060093504A

Abstract

본 발명은 실시간 전송 프로토콜(RTP,Real-time Transport Protocol), 실시간 스트리밍 프로토콜(RTSP,Real Time Streaming Protocol)를 이용한 주문형비디오(VOD,Video On Demand), 주문형음악(AOD,Audio On Demand) 스트리밍(streaming)에 있어서, 특히 데이터 큐에 위치된 특정지점으로의 빨리감기(FF,Fast Forward)시 스트리밍 서버(Server)와의 메시지 교환 수를 줄여 빨리감기에 걸리는 시간을 줄이는 데이터 버퍼링 장치 및 방법에 관한 것이다.

본 발명에 따른 데이터 버퍼링 방법은, 재생중 빨리감기(FF) 명령이 입력되는 단계; 상기 명령에 따른 해당 데이터가 데이터 큐 내부에 있는지 판단되는 단계; 상기 판단결과, 상기 데이터가 있다면, 현재 재생되고 있는 데이터에서 상기 데이터 전까지의 데이터가 버려지는 단계; 상기 데이터 큐에 기저장 되어있던 데이터중, 가장 나중 시간에 저장되었던 데이터에 연속된 데이터가 상기 버려진 데이터 분량만큼 계속하여 버퍼링 되는 단계; 상기 명령에 따른 해당 데이터가 재생되는 단계; 를 포함하는 것을 특징으로 한다.

실시간 전송 프로토콜(RTP), 실시간 스트리밍 프로토콜(RTSP), 버퍼링, 데이터 큐, 서버, 클라이언트

Description

데이터 버퍼링 장치 및 방법{Apparatus and method for buffering the data}

도 1은 종래 빨리감기(FF) 처리과정을 나타낸 플로우챠트.

도 2a 내지 도 2c는 도 1의 종래 빨리감기(FF)처리에 따른 데이터 큐의 변화를 나타낸 도면.

도 3은 본 발명에 따른 버퍼링 장치를 나타낸 도면.

도 4a 내지 도 4b는 본 발명에 따른 버퍼링을 통한 빨리감기(FF)처리에 따른 데이터 큐의 변화를 나타낸 도면.

도 5는 본 발명에 따른 버퍼링 방법을 이용한 빨리감기(FF) 처리과정을 나타낸 플로우챠트.

<도면의 주요 부분에 대한 부호의 설명>

300 : 클라이언트(Client) 302 : 데이터송수신부 304 : 데이터 큐 306 : 디코딩부 308 : 제어부 310 : 처리부

312 : 서버(Server)

본 발명은 데이터 버퍼링 장치 및 방법에 관한 것이다.

실시간 전송 프로토콜/실시간 스트리밍 프로토콜(RTP/RTSP, 이하 RTP/RTSP로 표기)은 스트리밍(streaming) 서비스의 표준 프로토콜이다. 여기서 상기 스트리밍이란, 전송받은 데이터를 동시에 재생하는 기술을 말한다.

RTSP는 TCP/IP를 통해 스트림 컨트롤에 대한 명령을 주고받는 역할을 하는 프로토콜이고, RTP는 UDP를 통해 실제 오디오/비디오 데이터를 받는 프로토콜이다.

상기 RTSP, RTP 모두 TCP, UPD프로토콜 위에서 사용될 수 있지만, 대개의 경우 상기 RTSP는 TCP기반에서 이루어지고, RTP는 UPD기반에서 이루어진다. 왜냐하면, 상기 TCP는 서버(Server)와 클라이언트(Client)간의 전송을 보장하는 프로토콜이나 속도가 느리고, UPD는 전송을 보장하지 않는 대신 속도가 빠르기 때문이다.

상기와 같은 프로토콜을 이용하여 서버(Server)와 클라이언트(Client)간에 데이터가 교환되는데, 여기서 서버란 데이터 정보를 가지고 있어, 연결이 이루어졌을 때, 그 정보를 클라이언트에게 제공할 수 있는 컴퓨터를 말하고, 클라이언트는 반대로 서버에 접속해서 원하는 정보를 얻는 컴퓨터를 말한다.

따라서, 스트리밍을 하기 위해서는 RTSP를 이용하여 재생에 필요한 셋업(setup)을 해야 하고, 셋업을 마친 다음, RTSP 메시지를 서버와 주고받은 후, 오디오/비디오 데이터가 RTP를 통해 클라이언트로 전송되는 과정을 거친다. 그런다음, 버퍼링(Buffering)하고, 전송된 상기 오디오/비디오 데이터를 재생하게 된다.

상기 버퍼링이란, 서버는 데이터를 지속적으로 전송하게 되고, 접속한 클라이언트는 이 데이터를 지속적으로 메모리의 버퍼에 저장하게 되는데, 만일 이 버퍼가 모두 비워진다면 클라이언트 측에서는 더 이상 버퍼에서 꺼낼 데이터가 없으므 로 다시 버퍼가 채워질 때까지 일시정지상태에서 잠시 기다리는 현상을 말한다.

상기 클라이언트가 스트리밍 중에 빨리감기(FF)나 되감기(REW)를 하게 되면, 상기 서버와 소정의 메세지를 주고받는다.

도 1은 종래 빨리감기(FF) 처리과정을 나타낸 플로우챠트이다.

도 1을 참조하면, 클라이언트(Client)측에서 빨리감기(FF)를 수행하면, 서버에 'PAUSE'메세지가 전송된다(S100).

상기 서버가 상기 전송된 메세지를 받은 후, 클라이언트측 제어부는 상기 서버가 상기 메세지를 전송받아 응답(response)이 수락되었는지 판단하여(S102), 상기 응답이 수락되었다면, 클라이언트측 오디오/비디오 데이터 큐(queue)를 비운다(S104).

상기 큐는 컴퓨터 내의 주기억장치에서 연속적인 공간을 배정하여 데이터를 저장하고 필요시 검색하여 사용할 수 있도록 한 순서 리스트와 같은 자료구조로써, 자료의 삽입은 한쪽 끝에서, 출력은 다른 쪽 끝에서 발생한다.

단계 104 이후, 클라이언트측 제어부는 서버로 'PLAY'메세지를 전송(S106)한다음, 전송된 메세지를 받은 서버가 응답을 수락하였는지 판단한다(S108).

상기 판단결과, 단계 102 와 단계 108에서, 각각의 메세지를 받은 서버에서 상기 응답이 수락되지 않으면, 에러(error)처리를 하게 된다(S110).

단계 108에서, 상기 응답이 수락되었다면, 설정된 시간 분량의 오디오/비디오 데이터를 버퍼링(S112)한다음, 그 버퍼링된 오디오/비디오 데이터를 재생시키고(S114) 종료된다.

도 2a 내지 도 2c는 도 1의 종래 빨리감기(FF)처리에 따른 데이터 큐의 변화를 나타낸 도면이다.

도 2a는 빨리감기(FF) 이전에 재생중인 오디오/비디오 데이터 큐를 나타낸 도면이다. 도 2a를 참조하면, 클라이언트측에서 빨리감기(FF) 명령을 하기 전에는 'T'로 표시된 오디오/비디오 데이터가 연속된 공간에 순차적으로 배정되어 있다.

각 스트림 데이터에는 재생되어야 할 시간(timestamp)이 정해져 있으며, 정해진 시간에 화면에 디스플레이 되고, 소리로 나간 이후에는 상기 데이터 큐에서 꺼내어져 삭제된다.

도 2b는 도 1의 단계 100에서 보낸 'PAUSE'메세지에 대한 서버 응답이 수락된 경우, 즉 도 1의 단계 104 에서의 데이터 큐를 나타낸 도면이다. 도 2b를 참조하면, 클라이언트측에서 서버로 보낸 상기 'PAUSE'메세지를 수락하여 오디오/비디오 데이터를 모두 비운 상태를 나타낸 것이다.

즉, 일단 현재 재생되고 있는 스트림 데이터의 전송 중단을 요구하는 'PAUSE'메세지를 서버로 보내고, 이에 대한 응답이 오면 데이터 큐를 비운다.

도 2c는 빨리감기(FF)에 대한 서버의 응답을 받고 난 후의 오디오/비디오 데이터 큐를 나타낸 도면이다.

도 2c를 참조하면, 클라이언트측에서 빨리감기(FF)명령을 받은 서버는 원하는 재생시작 시간(t')을 서버에 'PLAY'메세지로 보내고, 이에 대한 응답이 오면 이후에 오는 스트림 데이터는 t'이후의 데이터를 데이터 큐에 넣는다. 재생을 시작하기 전에 분량의 데이터를 버퍼링하고 나서 재생이 시작된다.

그러나, 스트리밍 재생에서 오디오/비디오 데이터의 버퍼링 양은 통상 5초 분량 정도이고, 도 1의 순서로 동작하는 빨리감기(FF)는 2초부터 할 수 있게 되어 있다.

다시말해, RTSP, RTP규약 대로 한다면, 2초 앞으로 상기 빨리감기(FF)를 할 경우, 5초 분량 정도 버퍼링 되어 있는 상기 오디오/비디오 데이터를 버리고, 상기 도 1의 과정을 거쳐, 2초 이후부터 5초 분량의 상기 오디오/비디오 데이터를 버퍼링하여 재생을 시작하게 된다.

따라서, 상기 RTSP, RTP규약처럼, 이미 가지고 있는 상기 오디오/비디오 데이터를 이용하지 않고, 모두 재전송하게 되면 RTSP 메시지 교환에 드는 시간과 네트웍 전송량, RTP 데이터를 받는데 드는 시간과 네트웍 전송량이 커지게 되는 문제점이 있다.

또한, 종래의 방법대로 한다면, 2초 앞 부분을 보려던 사용자가 2초 이상 기다리는 일이 발생할 수 있어, 사용자 편의성 측면에서도 문제점이 있다.

본 발명의 목적은 실시간 전송 프로토콜(RTP), 실시간 스트리밍 프로토콜(RTSP)을 이용한 주문형비디오(VOD), 주문형음악(AOD) 스트리밍에 있어서, 특히 빨리감기(FF)시 스트리밍 서버(Server)와의 메시지 교환 수를 줄여 빨리감기에 걸리는 시간을 줄여 사용자 편의성을 높이는 데이터 버퍼링 장치 및 방법을 제공함에 있다.

상기의 목적을 달성하기 위한 본 발명에 따른 데이터 버퍼링 장치는, 서버(Server)와 데이터를 주고받는 데이터송수신부; 상기 데이터송수신부 로부터 전송된 스트림 데이터를 저장하는 데이터 큐(queue); 상기 데이터 큐와 연결되고, 빨리감기(FF)명령 수행시, 상기 데이터 큐 내부에 재생하고자 하는 데이터의 유무를 검색하여, 상기 빨리감기(FF) 명령을 내부적으로 처리할 것인지, 서버와의 교환을 통해 처리할 것인지 판단하는 제어부; 상기 제어부의 판단에 따라 빨리감기(FF) 명령을 내부적으로 또는 서버와의 교환을 통해 처리하는 처리부; 상기 처리부로부터 나온 스트림 데이터를 디코딩하는 디코딩부;를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 데이터 버퍼링 방법은, 재생중 특정지점으로의 빨리감기(FF) 명령이 입력되는 단계; 상기 명령에 따른 재생될 데이터가 데이터 큐 내부에 있는지 판단되는 단계; 상기 판단결과, 상기 재생될 데이터가 있다면, 현재 재생되고 있는 데이터에서 상기 재생될 데이터 전까지의 데이터가 버려지는 단계; 상기 데이터 큐에 기저장 되어있던 데이터중, 가장 나중 시간에 저장되었던 데이터에 연속된 데이터가 계속하여 버퍼링 되는 단계; 상기 명령에 따른 재생될 데이터가 재생되는 단계; 를 포함하는 것을 특징으로 한다.

또한, 상기 명령에 따른 재생될 데이터가 데이터 큐 내부에 없다면, 서버와의 데이터 교환을 통해 처리하는 단계를 더 포함하는 것을 특징으로 한다.

이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.

도 3은 본 발명에 따른 버퍼링 장치를 나타낸 도면이다. 도 3을 참조하면, 본 발명에 따른 버퍼링 장치는 클라이언트(300)측에 데이터 송수신부(302), 데이터 큐(304), 제어부(306), 처리부(308), 디코딩부(310)를 포함하여 구성되고, 서버(312)측과 데이터 교환을 할 수 있다.

상기 버퍼링 장치의 동작을 알아보면, 데이터 송수신부(302)는 서버(Server)(312)와 각종 메세지와 데이터를 주고받으며, 상기 데이터 큐(304)는 상기 데이터 송수신부(302)로 부터 전송된 스트림 데이터를 저장한다.

또한, 제어부(306)는 상기 데이터 큐와 연결되어 있으며, 사용자로부터 빨리감기(FF) 명령이 입력되면 상기 데이터 큐 내부에 재생하고자 하는 데이터가 존재하는지 판단한다.

상기 판단결과, 상기 데이터 큐(304) 내부에 재생하고자 하는 데이터가 존재하는 경우, 상기 빨리감기 명령을 클라이언트(300)측 시스템 내부적으로 처리되도록 처리부(308)에 신호를 보내며, 만일 상기 데이터 큐(304) 내부에 재생하고자 하는 데이터가 존재하지 않는 경우에는 서버(312)와의 교환을 통해 상기 명령이 처리되도록 처리부(308)에 신호를 보낸다.

상기 제어부(306)의 판단에 따라 상기 처리부(308)는 빨리감기(FF) 명령을 내부적으로 또는 서버와의 교환을 통해 처리된다.

그런다음, 상기 처리부(308)와 연결된 디코딩부(310)는 상기 처리부(308)에 의해 처리된 스트림 데이터를 디코딩하게 된다.

도 4a 내지 도 4b는 본 발명에 따른 버퍼링을 통한 빨리감기(FF)처리에 따른 데이터 큐의 변화를 나타낸 도면이다.

도 4a는 본 발명에 따른 빨리감기 이전의 오디오/비디오 데이터 큐이며, 도 4a를 참조하면, 't'는 현재 재생중인 시간이고, '△t'는 빨리감기(FF)를 하고자 하는 시간간격이며, 't+h' 는 다시 버퍼링을 계속하여야 할 시간이다.

즉, 본 발명에 따른 버퍼링 장치의 제어부(306)는 빨리감기(FF)로 '△t' 만큼 앞으로 움직여서 재생시키려 할 때, 이미 버퍼링 되어 있는 스트림 데이터 범위 안에 찾는 데이터가 있는지 판단하여, 찾는 데이터가 있을 경우에는 서버로 메시지를 보내지 않고, '△t' 이전 시간의 데이터만 버리고 't+h' 부터 들어오는 스트림 데이터를 그대로 버퍼링 한다.

도 4b는 본 발명에 따른 데이터 큐에 위치된 특정지점으로의 빨리감기 후의 오디오/비디오 데이터 큐이며, 도 4b를 참조하면, 도 4a 의 데이터 큐(304) 상태에서 사용자가 빨리감기(FF)를 하게되면, 상기 이전 시간의 데이터는 버려진다.

따라서, 정해진 분량의 데이터가 들어가는 상기 데이터 큐(304)는 상기 데이터 큐(304)에 위치된 특정지점으로의 빨리감기(FF)가 끝난 시간인 't+△t' 부터 재생이 시작되며, 't+h'부터는 상기 버려진 '△t'에 해당되는 데이터 분량이 상기 데이터 큐(304)에 채워질 때까지 연속된 데이터 스트림을 계속 버퍼링 하여 재생을 시작하게 된다.

이때, 만약 비디오 데이터가 Mpeg4 나 H.263, H.264등으로 인코딩 되어 있을 경우에는, 스트림 데이터의 재생되어야 할 시간(timestamp)이 't+△t' 보다 작은 것을 무조건 버린채, 재생하게 되면, 문제가 생길 수 있다.

왜냐하면, 상기 경우에는 어떤 한 프레임의 데이터가 이전 프레임의 변화분만 있을 수 있기 때문인데, 이런 경우에는 완전한 한 프레임을 인코딩한 프레임(I- 프레임)을 찾은 후에 새로운 '△t' 를 구하여 그 이전 데이터를 버려야 한다.

따라서, 본 발명에 따른 버퍼링 방법으로 데이터 큐(304)에 위치된 특정지점으로의 빨리감기(FF)를 처리할 경우, 5초 분량의 데이터를 버퍼링하면서 재생 하다가 2초 앞으로 빨리감기(FF)를 할 때, 2초 분량의 데이터만 더 버퍼링 하면 되므로, 약 2초 정도만 기다리면 부드러운 영상을 재생시킬 수 있게 된다.

도 5는 본 발명에 따른 버퍼링 방법을 이용한 빨리감기(FF) 처리과정을 나타낸 플로우챠트이다.

도 5를 참조하면, 사용자에 의해 빨리감기(FF) 명령이 입력되면(S500), 본 발명에 따른 버퍼링 장치 내에 있는 제어부(306)는 먼저, 현재 데이터 큐(304)에 버퍼링 되어있는 데이터 안에 빨리감기(FF)로 재생하고자 하는 오디오/비디오 데이터가 있는지 판단한다(S502).

상기 판단결과, 현재 데이터 큐(304)에 버퍼링 되어있는 데이터 안에 빨리감기(FF)로 재생하고자 하는 오디오/비디오 데이터가 있다면, 연속된 데이터가 저장되어있는 상기 데이터 큐(304)에서 빨리감기(FF)한 시간분량만큼의 데이터를 버린다(S504).

그런다음, 상기 데이터 큐(304)에 가장 나중 시간에 저장되었던 데이터에 연속하여, 상기 버려진 시간분량만큼의 데이터를 버퍼링한다(S506).

단계 506이후, 상기 데이터 큐(304)에 재생을 시작할 수 있는 만큼의 데이터가 모이면 재생을 시작하고(S508), 상기 데이터가 모두 재생되면 종료된다.

한편, 단계 502에서 현재 데이터 큐(304)에 버퍼링 되어있는 데이터 안에 빨 리감기(FF)로 재생하고자 하는 오디오/비디오 데이터가 없다면, 도 1의 종래 빨리감기(FF)동작대로 처리가 된다(S510).

이상 상기와 같은 버퍼링 방법은 빨리감기(FF)시 스트리밍 서버(Server)와의 메시지 교환 수를 줄여 빨리감기에 걸리는 시간을 줄이는 효과가 있으며, 전송받은 데이터를 동시에 재생하는 기술인 스트리밍을 하는 전영역에 적용가능하다.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다.

따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

본 발명은 실시간 전송 프로토콜(RTP), 실시간 스트리밍 프로토콜(RTSP)을 이용한 주문형비디오(VOD), 주문형음악(AOD) 스트리밍(streaming)에 있어서, 특히 빨리감기(FF)시 스트리밍 서버(Server)와의 메시지 교환 수를 줄여 빨리감기에 걸리는 시간을 줄이는 효과가 있다.

Claims

서버(Server)와 데이터를 주고받는 데이터송수신부;

상기 데이터송수신부 로부터 전송된 스트림 데이터를 저장하는 데이터 큐(queue);

상기 데이터 큐와 연결되고, 빨리감기(FF)명령 수행시, 상기 데이터 큐 내부에 재생하고자 하는 데이터의 유무를 검색하여, 상기 빨리감기(FF) 명령을 내부적으로 처리할 것인지, 서버와의 교환을 통해 처리할 것인지 판단하는 제어부;

상기 제어부의 판단에 따라 빨리감기(FF) 명령을 내부적으로 또는 서버와의 교환을 통해 처리하는 처리부;

상기 처리부로부터 나온 스트림 데이터를 디코딩하는 디코딩부;

를 포함하는 것을 특징으로 하는 데이터 버퍼링 장치.
재생중 특정지점으로의 빨리감기(FF) 명령이 입력되는 단계;

상기 명령에 따른 재생될 데이터가 데이터 큐 내부에 있는지 판단되는 단계;

상기 판단결과, 상기 재생될 데이터가 있다면, 현재 재생되고 있는 데이터에서 상기 재생될 데이터 전까지의 데이터가 버려지는 단계;

상기 데이터 큐에 기저장 되어있던 데이터중, 가장 나중 시간에 저장되었던 데이터에 연속된 데이터가 계속하여 버퍼링 되는 단계;

상기 명령에 따른 재생될 데이터가 재생되는 단계;

를 포함하는 것을 특징으로 하는 데이터 버퍼링 방법.
제 2항에 있어서,

상기 명령에 따른 재생될 데이터가 데이터 큐 내부에 없다면, 서버와의 데이터 교환을 통해 처리하는 단계를 더 포함하는 것을 특징으로 하는 데이터 버퍼링 방법.
제 2항에 있어서,

상기 특정지점은 데이터 큐에 기저장된 데이터 내에 위치된 지점인 것을 특징으로 하는 데이터 버퍼링 방법.
제 2항에 있어,

상기 데이터가 버려지는 단계에서,

만약 상기 데이터 중 비디오 데이터가 Mpeg4 나 H.263, H.264 을 포함한 형식으로 인코딩 되어 있는 경우에는, 완전한 한 프레임을 인코딩한 프레임(I-프레임)을 찾은 후, 다시 빨리감기에 소요되는 시간을 구하여 그 이전 데이터를 버리는 것을 특징으로 하는 데이터 버퍼링 방법.
제 2항 내지 제 5항 중 어느 한 항에 있어서,

상기 데이터는 오디오 및 비디오 데이터를 포함하는 것을 특징으로 하는 데 이터 버퍼링 방법.